GPUImage(一):視頻采集GPUImageVideoCamera

FilterShowcase是GPUImage中一個示例demo,對由攝像頭獲取的實時視頻進行處理加工。從這個示例中,結合AVFoundation先了解GPUImageVideoCamera這個類。

GPUImageVideoCamera

GPUImageVideoCamera繼承自GPUImageOutput,遵循AVCaptureVideoDataOutputSampleBufferDelegateAVCaptureAudioDataOutputSampleBufferDelegate兩個協議,采用攝像頭數據作為數據源,是數據響應鏈的源頭。

視頻捕捉核心類:AVCaptureSession

AVCaptureSession用于連接輸入和輸出的資源。一個捕捉會話相當于一個虛擬插線板,管理從物理設備得到的數據流,如攝像頭和麥克風,輸出到一個或多個目的地。可以動態配置輸入和輸出的線路,以此在會話進行中按需重新配置捕捉環境。session調用startRunning開始數據流的流入流出,調用stopRunning停止數據流流動。但不要在主線程調用startRunning。
AVCaptureSessionPreset:session的屬性sessionPreset用來自定義一些設置,在session運行的時候動態配置也可以。

AVCaptureSession.png

GPUImage中初始化    
_captureSession = [[AVCaptureSession alloc] init];
[_captureSession beginConfiguration];
//一些配置
[_captureSession commitConfiguration];

輸入:AVCaptureDevice

AVCaptureDevice為攝像頭等物理設備定義了一個接口,并對這些硬件設備定義了大量控制方法,如對焦、曝光等。AVCaptureDevice定義了大量類方法用于訪問系統的捕捉設備,最常用的一個方法是defaultDeviceWithMediaType:。但一個捕捉設備不能直接添加到AVCaptureSession中,可以將它封裝到一個AVCaptureDeviceInput對象中添加。
NSError *error
AVCaptureDeviceInput *videoInput = [AVCaptureDeviceInput deviceInputWithDevice:videoDevice error:&error]
這個方法需要一個有效的NSError指針,因為輸入中遇到的任何錯誤描述信息會在這里體現

輸出:AVCaptureOutput

AVCaptureAudioDataOutput和AVCaptureVideoDataOutput可以直接訪問硬件捕捉到的數字樣本,他們繼承自抽象基類AVCaptureOutput。這兩個類可以提供強大的功能,如對音頻和視頻流進行實時處理。視頻的一個新圖像幀會被傳遞到AVCaptureVideoDataOutput,如果需要對視頻幀處理加工,需要設置AVCaptureVideoDataOutput的代理方法

- (void)setSampleBufferDelegate:(nullable id<AVCaptureVideoDataOutputSampleBufferDelegate>)sampleBufferDelegate 
                          queue:(nullable dispatch_queue_t)sampleBufferCallbackQueue;

delegate會通過代理方法

- (void)captureOutput:(AVCaptureOutput *)captureOutput 
didOutputSampleBuffer:(CMSampleBufferRef)sampleBuffer 
       fromConnection:(AVCaptureConnection *)connection

獲得圖像幀。代理的函數會在sampleBufferCallbackQueue中調用,并且必須是一個同步隊列,以保證視頻幀的順序是正確的——GPUImage創建了一個cameraProcessingQueue。如果處理速度比采集速度慢,隊列會堵塞,等待處理的圖像會占住內存,默認setAlwaysDiscardsLateVideoFrames屬性為YES,這樣就會丟棄由于隊列阻塞而不斷新增來不及處理的新圖像,GPUImage把這一屬性改為NO。

dispatch_semaphore_t:GCD用來創建一個并發控制來同步任務和有限資源訪問控制的方法

GPUImage中的屬性frameRenderingSemaphore幀渲染信號量用于處理完一幀后接著處理下一幀。

GPUImageVideoCamera的初始化

GPUImageVideoCamera的初始化方法

- (id)initWithSessionPreset:(NSString *)sessionPreset 
             cameraPosition:(AVCaptureDevicePosition)cameraPosition; 
  • 創建了視頻處理隊列cameraProcessingQueue和音頻處理隊列audioProcessingQueue
  • 創建了信號量 frameRenderingSemaphore
  • 創建了核心類AVCaptureSession,添加了輸入videoInput和輸出videoOutput
  • 充血了runSynchronouslyOnVideoProcessingQueue,稍后在介紹GPUImageOutput時詳解。
最后編輯于
?著作權歸作者所有,轉載或內容合作請聯系作者
平臺聲明:文章內容(如有圖片或視頻亦包括在內)由作者上傳并發布,文章內容僅代表作者本人觀點,簡書系信息發布平臺,僅提供信息存儲服務。
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市,隨后出現的幾起案子,更是在濱河造成了極大的恐慌,老刑警劉巖,帶你破解...
    沈念sama閱讀 230,048評論 6 542
  • 序言:濱河連續發生了三起死亡事件,死亡現場離奇詭異,居然都是意外死亡,警方通過查閱死者的電腦和手機,發現死者居然都...
    沈念sama閱讀 99,414評論 3 429
  • 文/潘曉璐 我一進店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人,你說我怎么就攤上這事。” “怎么了?”我有些...
    開封第一講書人閱讀 178,169評論 0 383
  • 文/不壞的土叔 我叫張陵,是天一觀的道長。 經常有香客問我,道長,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 63,722評論 1 317
  • 正文 為了忘掉前任,我火速辦了婚禮,結果婚禮上,老公的妹妹穿的比我還像新娘。我一直安慰自己,他們只是感情好,可當我...
    茶點故事閱讀 72,465評論 6 412
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著,像睡著了一般。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發上,一...
    開封第一講書人閱讀 55,823評論 1 328
  • 那天,我揣著相機與錄音,去河邊找鬼。 笑死,一個胖子當著我的面吹牛,可吹牛的內容都是我干的。 我是一名探鬼主播,決...
    沈念sama閱讀 43,813評論 3 446
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了?” 一聲冷哼從身側響起,我...
    開封第一講書人閱讀 43,000評論 0 290
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后,有當地人在樹林里發現了一具尸體,經...
    沈念sama閱讀 49,554評論 1 335
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內容為張勛視角 年9月15日...
    茶點故事閱讀 41,295評論 3 358
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發現自己被綠了。 大學時的朋友給我發了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 43,513評論 1 374
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖,靈堂內的尸體忽然破棺而出,到底是詐尸還是另有隱情,我是刑警寧澤,帶...
    沈念sama閱讀 39,035評論 5 363
  • 正文 年R本政府宣布,位于F島的核電站,受9級特大地震影響,放射性物質發生泄漏。R本人自食惡果不足惜,卻給世界環境...
    茶點故事閱讀 44,722評論 3 348
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧,春花似錦、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 35,125評論 0 28
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至,卻和暖如春,著一層夾襖步出監牢的瞬間,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 36,430評論 1 295
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人。 一個月前我還...
    沈念sama閱讀 52,237評論 3 398
  • 正文 我出身青樓,卻偏偏與公主長得像,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當晚...
    茶點故事閱讀 48,482評論 2 379

推薦閱讀更多精彩內容