一、目的

從OpenCV中讀取幀后，一方面對幀進行其他處理，同時把獲取的幀推送到rtmp服務(wù)器實現(xiàn)直播。

二、docker中搭建rtmp服務(wù)器

本文忽略如何安裝docker，docker的命令等。

(一) 拉取rtmp鏡像并運行

我用的是 jun3/rtmp 這個鏡像(GitHub地址是：https://github.com/jun3372/rtmp)

docker pull jun3/rtmp
docker run --name rtmp -p 1935:1935 -p 8080:80 -d -it jun3/rtmp

(二) rtmp服務(wù)器的簡單操作

1. 運行鏡像后在瀏覽器地址欄輸入：127.0.0.1:8080即可看到這個界面：

   
   
   image.png
   
   

   不過可能是我瀏覽器的緣故，即使在推流時也無法播放。

2. 在瀏覽器地址欄輸入：127.0.0.1:8080/stat 可查看rtmp服務(wù)器當前推拉流的情況。
   沒有視頻流推送時是這樣的：

   
   
   image.png

有視頻流推送時是這樣的：

image.png

(三) FFmpeg推流驗證

怎么裝FFmpeg就忽略過了。我是從ARM嵌入式主機推流的，Ubuntu18的操作系統(tǒng)。在終端中用此命令推流：

$ ffmpeg -f video4linux2 -s  640x480 -i /dev/video10  -vcodec libx264 -preset:v ultrafast -tune:v zerolatency -f flv rtmp://1.2.3.4:1935/stream/pupils_trace

命令中有很多參數(shù)，我并不完全清楚。需要根據(jù)實際情況修改的如下：

三、python中進行推流

• 為了和其他python程序較好的結(jié)合，同時又盡可能減少對原有代碼的改動，我單獨做成一個類。
• 采用多進程方式處理(python自帶的multiprocessing模塊實現(xiàn))

(一) 實現(xiàn)思路

1. 通過隊列從外部獲取需推送的內(nèi)容，包括幀和其他相關(guān)信息
2. 如果有必要，則在推送前做一些畫面處理
3. 多進程daemon方式后臺推送，不影響其他程序

(二) 代碼

import cv2 as cv
import time
import subprocess as sp
import multiprocessing
import platform
import psutil

class stream_pusher(object):
    def __init__(self, rtmp_url=None, raw_frame_q=None): #類實例化的時候傳入rtmp地址和幀傳入隊列
        self.rtmp_url = rtmp_url
        self.raw_frame_q = raw_frame_q
       

        fps = 20  # 設(shè)置幀速率
        # 設(shè)置分辨率
        width = 640  # 寬
        height = 480  # 高
        
        # 設(shè)置FFmpeg命令文本
        self.command = ['ffmpeg',
               '-y',
               '-f', 'rawvideo',
               '-vcodec', 'rawvideo',
               '-pix_fmt', 'bgr24',
               '-s', "{}x{}".format(width, height),
               '-r', str(fps),
               '-i', '-',
               '-c:v', 'libx264',
               '-pix_fmt', 'yuv420p',
               '-preset', 'ultrafast',
               '-f', 'flv',
               self.rtmp_url]
        '''

    # 對獲取的幀做一些畫面處理的方法，返回完成處理的幀。
    def __frame_handle__(self, raw_frame, text, shape1, shape2):
        #幀用cv2進行一些處理，比如寫上文本，畫矩形等
        return(raw_frame)

    # 向服務(wù)器推送
    def push_frame(self):
        # 指定在哪些cpu核上運行。我的ARM有6核，前4核較慢做輔助處理。后2核較快，做核心程序的處理。這里指定推流動作在慢的4個核中運行
        p = psutil.Process()
        p.cpu_affinity([0,1,2,3])
        # 配置向os傳遞命令的管道
        p = sp.Popen(self.command, stdin=sp.PIPE)

        while True:
            if not self.raw_frame_q.empty(): # 如果輸入管道不為空
                # 把幀和相關(guān)信息從輸入隊列中取出
                raw_frame, text, shape1, shape2 = self.raw_frame_q.get() 
                # 對獲取的幀進行畫面處理
                frame = self.__frame_handle__(raw_frame, text, shape1, shape2)

                # 把內(nèi)容放入管道，放入后有os自己去執(zhí)行
                p.stdin.write(frame.tostring())            
            else:
                time.sleep(0.01)


    # 啟動運行
    def run(self):
        # 定義一個子進程
        push_frame_p = multiprocessing.Process(target=self.push_frame, args=())
        push_frame_p.daemon = True # 把子進程設(shè)置為daemon方式
        push_frame_p.start() # 運行子進程


if __name__ == '__main__':
    # 根據(jù)不同的操作系統(tǒng)，設(shè)定讀取哪個攝像頭
    if platform.system() == 'Linux': # 如果是Linux系統(tǒng)
        cap = cv.VideoCapture(10) # 綁定編號為10的攝像頭
        cap.set(3, 640) # 設(shè)置攝像頭畫面的寬
        cap.set(4, 480) # 設(shè)置攝像頭畫面的高
    elif platform.system() == 'Darwin': # 如果是蘋果的OS X系統(tǒng)
        cap = cv.VideoCapture(0) 綁定編號為0的攝像頭
        cap.set(3, 640)
        cap.set(4, 480)
    else: # 沒有windows系統(tǒng)，所以就不判斷了
        exit(0)

    rtmpUrl = "rtmp://1.2.3.4:1935/stream/pupils_trace"  # 用vcl等直播軟件播放時，也用這個地址
    raw_q = multiprocessing.Queue() # 定義一個向推流對象傳入幀及其他信息的隊列

    my_pusher = stream_pusher(rtmp_url=rtmpUrl, raw_frame_q=raw_q) # 實例化一個對象
    my_pusher.run() # 讓這個對象在后臺推送視頻流
    for i in range(1000):
        _, raw_frame = cap.read()
        info = (raw_frame,'2','3','4') # 把需要送入隊列的內(nèi)容進行封裝
        if not raw_q.full(): # 如果隊列沒滿
            raw_q.put(info) # 送入隊列
        cv.waitKey(1)
    cap.release()
    print('finish')

四、vlc拉流軟件看直播

直接按界面順序上圖。

image.png

image.png

image.png