近兩年一直從事視頻行業(yè)的開發(fā), 加班也比較嚴重, 好久沒有寫文章了, 最近稍微有些時間, 前來寫點文章, 記錄一些開發(fā)中遇到的問題, 和解決方法!
做視頻會議項目, 當然是離不開音視頻啦, 也常常和WebRTC打交道, 包括編譯WebRTC, 修改源碼, 還有C++和OC的混編開發(fā), JS交互, 也嘗試過RN的開發(fā)來避開一些問題等等, 東西很多, 路也很不好走, 通宵加班也是家常便飯, 不過現(xiàn)在項目基本穩(wěn)定,已經(jīng)上線, 用戶反饋也都很不錯! 回頭看看走過的路, 雖然坎坎坷坷, 但是也是收獲滿滿呀!
進入正題, 項目中有共享的功能, 屏幕共享使用的ReplayKit, 但是應(yīng)用外的屏幕共享時是使用的Broadcast Extension, 而該擴展是另外的獨立進程, 涉及到宿主App和擴展App的信令之間的交互, 好在有比較有好的第三方使用, 省了不少事, 最終完成了屏幕共享! 如果有朋友涉及到這方面的知識的話, 可以一起交流溝通哈!
除屏幕共享外, 我們要有網(wǎng)頁共享, 網(wǎng)頁共享, 開始一臉懵逼! 后來的解決方案是, 共享人端使用WKWebView, 觀看端看的是視頻流! OK, 那么問題來了, 如何把一個UIView 的渲染數(shù)據(jù)采集成為Buffer呢, 頭大, 最初考路過使用應(yīng)用內(nèi)的錄屏, 這樣是可以解決, 但是, 錄屏的話吧整個屏幕上的內(nèi)容全都采集出來, 不是很友好, 用戶只想共享這個網(wǎng)頁, 其他的不想讓觀看者看到! 確實挺麻煩的, 查了很多資料, 也沒有特別合適的!
經(jīng)過多方面研究和資料的查閱, 最終的解決方案是, 創(chuàng)建CVPixelBufferRef pxbuffer, 然后獲取像素基本地址
void *pxdata = CVPixelBufferGetBaseAddress(pxbuffer);
然后在創(chuàng)建上下文以pxdata 所指向的內(nèi)存作為上下文數(shù)據(jù)存貯的容器, 最后 渲染 上下文[self.webView.layer renderInContext:context];
這樣就將 webView 視圖上的渲染數(shù)據(jù)轉(zhuǎn)成了一幀 CVPixelBufferRef 數(shù)據(jù), 然后根據(jù)幀率設(shè)置定時器, 去不停的獲取webView的渲染數(shù)據(jù)轉(zhuǎn)換成需要像素緩沖數(shù)據(jù)!
具體的代碼如下
- (CVPixelBufferRef)CVPixelBufferRef {
CGSize size = self.frame.size;
NSDictionary *options = @{(NSString*)kCVPixelBufferCGImageCompatibilityKey : @YES,
(NSString*)kCVPixelBufferCGBitmapContextCompatibilityKey : @YES,
(NSString*)kCVPixelBufferIOSurfacePropertiesKey: [NSDictionary dictionary]};
CVPixelBufferRef pxbuffer = NULL;
CGFloat frameWidth = size.width;
CGFloat frameHeight = size.height;
CVReturn status = CVPixelBufferCreate(kCFAllocatorDefault,
frameWidth,
frameHeight,
kCVPixelFormatType_32ARGB,
(__bridge CFDictionaryRef) options,
&pxbuffer);
NSParameterAssert(status == kCVReturnSuccess && pxbuffer != NULL);
CVPixelBufferLockBaseAddress(pxbuffer, 0);
void *pxdata = CVPixelBufferGetBaseAddress(pxbuffer);
NSParameterAssert(pxdata != NULL);
CGColorSpaceRef rgbColorSpace = CGColorSpaceCreateDeviceRGB();
CGContextRef context = CGBitmapContextCreate(pxdata, size.width, size.height, 8, CVPixelBufferGetBytesPerRow(pxbuffer), rgbColorSpace, kCGImageAlphaPremultipliedFirst);
NSParameterAssert(context);
CGContextConcatCTM(context, CGAffineTransformMakeRotation(0));
CGAffineTransform flipVertical = CGAffineTransformMake( 1, 0, 0, -1, 0, frameHeight);
CGContextConcatCTM(context, flipVertical);
// CGAffineTransform flipHorizontal = CGAffineTransformMake( -1.0, 0.0, 0.0, 1.0, frameWidth, 0.0 );
// CGContextConcatCTM(context, flipHorizontal);
[self.webView.layer renderInContext:context];
CGColorSpaceRelease(rgbColorSpace);
CGContextRelease(context);
CVPixelBufferUnlockBaseAddress(pxbuffer, 0);
return pxbuffer;
}
這或許不是最好的方法, 但目前確實解決了燃眉之急, 分享出來, 為有同樣需求的小伙伴提供一條方案, 或者小伙伴有更好的方法, 分享出來, 大家可以學(xué)習(xí)交流一下
