AVPlayer是蘋果提供的用來管理多媒體播放的控制器，提供了播放所需要的控制接口和支持KVO的屬性，支持播放本地和網絡視頻，以及實時視頻流。它一次只能播放一個AVPlayerItem，如果需要切換媒體源，需要使用replaceCurrentItem(with:)函數。如果需要播放多個視頻，可以考慮使用AVQueuePlayer。在不同性能的設備上，甚至相同設備的不同iOS版本上，AVPlayer的最大支持清晰度都會不一樣，例如在iOS10的某些機器上不支持4k播放，但是到iOS11就支持了，關于測定視頻是否可以用AVPlayer來解碼，可以直接在safari中輸入視頻網址來測試。
如果只需要播放視頻，可以直接使用CALayer的子類AVPlayerLayer。這里不做過多的說明，可以查看蘋果的Demo代碼。
這里主要說明從AVPlayerOutput中獲取視頻紋理的以用于OpenGl的下一步處理。
進度、播放狀態控制
播放信息監聽
利用KVO和通知中心監聽以下Key即可，雖然KVO的機制不太推薦使用，但是看了官方文檔，確實說這么用。
//已緩存進度
self.playerItem!.addObserver(self, forKeyPath: "loadedTimeRanges", options: NSKeyValueObservingOptions.new, context: nil)
//狀態改變
self.playerItem!.addObserver(self, forKeyPath: "status", options: NSKeyValueObservingOptions.new, context: nil)
//緩沖
self.playerItem!.addObserver(self, forKeyPath: "playbackBufferEmpty", options: NSKeyValueObservingOptions.new, context: nil)
//緩沖可播
self.playerItem!.addObserver(self, forKeyPath: "playbackLikelyToKeepUp", options: NSKeyValueObservingOptions.new, context: nil)
//播放完成
NotificationCenter.default.addObserver(self, selector: #selector(didPlayToEnd(notify:)), name: NSNotification.Name.AVPlayerItemDidPlayToEndTime, object: nil)
狀態控制
所有的狀態控制都需要在AVPlayerItemStatus變成readyToPlay的時候才可以使用，并且只有這個時候可以取到視頻的Size，所以在KVO的回調里
if keyPath == "status"{
switch (object as! AVPlayerItem).status {
case .readyToPlay:
// 只有在這個狀態下才能播放
//準備就緒
let pixelBuffer:CVPixelBuffer? = self.videoOutPut.copyPixelBuffer(forItemTime:(self.playerItem!.currentTime()), itemTimeForDisplay: nil)
if(pixelBuffer != nil){
//獲取size
let width:Int = CVPixelBufferGetWidth(pixelBuffer!)
let height:Int = CVPixelBufferGetHeight(pixelBuffer!)
self.playerItem?.videoSize = CGSize.init(width: width, height: height)
}
self.notify(state: .prepared)
if(self.shouldPlayAfterPrepared)
{
self.play()
}
case .unknown:
self.notify(state: .unknown)
//print("視頻加載未知錯誤")
case .failed:
self.notify(state: .failed,error: self.avPlayer?.error)
//print("視頻加載錯誤,\(String(describing: self.avPlayer?.error))")
}
}
如果播放遇到錯誤可以用self.avPlayer?.error來查看錯誤類型。
輸出紋理
YUV紋理
由于視頻的編碼格式基本都是YUV420，可以查看蘋果的Demo代碼 ,通過AVPlayerItemVideoOutput獲取Y-Pannel和UV-Pannel兩張紋理，最后在Shader中對兩種紋理組合處理。
設置AVPlayerItemVideoOutput的部分代碼
NSDictionary *pixBuffAttributes = @{(id)kCVPixelBufferPixelFormatTypeKey: @(kCVPixelFormatType_420YpCbCr8BiPlanarVideoRange)};
self.videoOutput = [[AVPlayerItemVideoOutput alloc] initWithPixelBufferAttributes:pixBuffAttributes];
輸出紋理的部分代碼
//Y-Plane
glActiveTexture(GL_TEXTURE0);
err = CVOpenGLESTextureCacheCreateTextureFromImage(kCFAllocatorDefault, _videoTextureCache, pixelBuffer, NULL, GL_TEXTURE_2D, GL_RED_EXT, frameWidth, frameHeight, GL_RED_EXT, GL_UNSIGNED_BYTE, 0, &_lumaTexture);
//UV-plane
glActiveTexture(GL_TEXTURE1);
err = CVOpenGLESTextureCacheCreateTextureFromImage(kCFAllocatorDefault, _videoTextureCache, pixelBuffer, NULL, GL_TEXTURE_2D, GL_RG_EXT, frameWidth / 2, frameHeight / 2, GL_RG_EXT, GL_UNSIGNED_BYTE, 1, &_chromaTexture);
其中的kCVPixelFormatType_420YpCbCr8BiPlanarVideoRange是CoreVideo中指定的Pixel Format Identifiers 類型，在OpenGLES2環境下其對應的參數是GL_RED_EXT和GL_RG_EXT。視頻支持的PixelFormat格式如下
獲取紋理之后，還要使用Shader混合兩張紋理，片元著色器(.fsh)代碼如下
void main()
{
mediump vec3 yuv;
lowp vec3 rgb;
// Subtract constants to map the video range start at 0
yuv.x = (texture2D(SamplerY, texCoordVarying).r - (16.0/255.0))* lumaThreshold;
yuv.yz = (texture2D(SamplerUV, texCoordVarying).rg - vec2(0.5, 0.5))* chromaThreshold;
rgb = colorConversionMatrix * yuv;
gl_FragColor = vec4(rgb,1);
}
RGB紋理
首先要明白一點，上圖中明確說明，BGRA的輸出格式是420v的兩倍多帶寬(More than 2x bandwidth)，并且在該圖來源,WWDC的這個視頻的27:00位置明確說明420v的輸出格式效率會明顯高于BGRA的輸出格式(It does come across if you can avoid using BGRA and doing your work in YUV, it's more efficient from bandwidth standpoint),但是反過來，對于OpenGL來說，兩張紋理的性能又會低于一張紋理。而且直接使用使用BGRA畢竟會方便很多，因為輸出的直接就是一張紋理，個人認為在iOS5時代可能需要考慮420和BGRA的輸出效率，但是現在畢竟都iOS11時代了，所以影響可以忽略不計。
設置AVPlayerItemVideoOutput的代碼
NSDictionary *pixBuffAttributes = @{(id)kCVPixelBufferPixelFormatTypeKey: @(kCVPixelFormatType_32BGRA)};
self.videoOutput = [[AVPlayerItemVideoOutput alloc] initWithPixelBufferAttributes:pixBuffAttributes];
輸出紋理的代碼
CVReturn textureRet = CVOpenGLESTextureCacheCreateTextureFromImage(kCFAllocatorDefault, self.videoTextureCache, pixelBuffer, nil, GL_TEXTURE_2D, GL_RGBA, width, height, GL_BGRA, GL_UNSIGNED_BYTE, 0, &_textureOutput);
BGRA對應的輸出格式是kCVPixelFormatType_32BGRA,其對應的從Buffer讀紋理的參數是GL_RGBA和GL_BGRA。
完整的從VideoOutput中獲取紋理的代碼如下
-(CVOpenGLESTextureRef)getVideoTextureWithOpenGlContext:(EAGLContext *)context{
if(self.videoOutput == nil){
NSLog(@"ferrisxie: 輸出對象為空");
return nil;
}
//step1:構造緩存
if(self.videoTextureCache == nil){
CVReturn ret = CVOpenGLESTextureCacheCreate(kCFAllocatorDefault, nil, context, nil, &_videoTextureCache);
if(ret != 0){
NSLog(@"構造緩存失敗");
return nil;
}
}
//step2: 取紋理
CMTime currentTime = self.currentItem.currentTime;
if(![self.videoOutput hasNewPixelBufferForItemTime:currentTime]){
//沒有新的紋理 返回上一幀
return self.textureOutput;
}
CVPixelBufferRef pixelBuffer = [self.videoOutput copyPixelBufferForItemTime:currentTime itemTimeForDisplay:nil];
CGFloat width = CVPixelBufferGetWidth(pixelBuffer);
CGFloat height = CVPixelBufferGetHeight(pixelBuffer);
if(CGSizeEqualToSize(CGSizeZero, self.videoSize)){
self.videoSize = CGSizeMake(width, height);
}
CVOpenGLESTextureCacheFlush(self.videoTextureCache, 0);
if(self.textureOutput != nil){
//釋放上一幀
CFRelease(self.textureOutput);
self.textureOutput = nil;
}
CVReturn textureRet = CVOpenGLESTextureCacheCreateTextureFromImage(kCFAllocatorDefault, self.videoTextureCache, pixelBuffer, nil, GL_TEXTURE_2D, GL_RGBA, width, height, GL_BGRA, GL_UNSIGNED_BYTE, 0, &_textureOutput);
if(textureRet != 0){
NSLog(@"解析紋理失敗%u,%@",textureRet,self.textureOutput);
if(self.textureOutput != nil){
//解析紋理失敗不需要Release
//CFRelease(self.textureOutput);
self.textureOutput = nil;
}
return nil;
}
if(pixelBuffer != nil){
CVPixelBufferRelease(pixelBuffer);
}
return self.textureOutput;
}
//usage
CVOpenGLESTextureRef texureRef = [self.player getVideoTextureWithOpenGlContext:[EAGLContext currentContext]];
GLuint target = CVOpenGLESTextureGetTarget(texureRef);
GLuint name = CVOpenGLESTextureGetName(texureRef);
//用完記得釋放
CFRelease(texureRef);
Swift由于取消了CFRelease等CoreFoundation的內存管理接口，在取紋理的時候需要使用Unmanaged對象,利用takeUnretainedValue，可以不需要釋放代碼了。
if let videoPlayer = self.videoPlayer{
if let unmangaed:Unmanaged<CVOpenGLESTexture> = videoPlayer.getVideoTexture(withOpen: self.context){
let testure:CVOpenGLESTexture = unmangaed.takeUnretainedValue()
let target:GLuint = CVOpenGLESTextureGetTarget(testure)
let name:GLuint = CVOpenGLESTextureGetName(testure)
}
}
//不再需要釋放了
其他
切換播放源
針對需要切換播放源的場景，重新構造播放器顯然是最簡單易行的，但是測試發現，頻繁的構造和銷毀AVPlayer對象雖然不會導致內存增加，但是很奇怪的是，會導致OtherProccesses的內存增大，從而導致Free內存減小，減小到某個值的時候，就會觸發didReceiveMemeoryWarning內存警告，暫時還沒有發現原因，因此這種方法不可取。
其實AVPlayer本身提供了切換播放源的函數。
func replaceCurrentItem(with item: AVPlayerItem?)
當要切換播放源時，需要指定新的AVPlayerItem,這時候又會面臨狀態問題，之前說過只有在AVPlayerItemStatus變成readyToPlay的時候才可以調用play和seek等函數，可以使用AVUrlAsset來預加載這個Item:
func loadValuesAsynchronously(forKeys keys: [String], completionHandler handler: (() -> Void)? = nil)
通過預加載duration(視頻總進度)來判斷視頻是否可播放，當加載完成后再replaceCurrentItem
// Load the asset's "playable" key
asset.loadValuesAsynchronously(forKeys: ["duration"]) {
var error: NSError? = nil
let status = asset.statusOfValue(forKey: "duration", error: &error)
switch status {
case .loaded:
// Sucessfully loaded, continue processing
//在這里替換播放源，并且直接開始播放
let playerItem = AVPlayerItem.init(asset: asset)
self.videoPlayer?.replaceCurrentItem(with: playerItem)
self.resumePlay()
case .failed:
// Examine NSError pointer to determine failure
case .cancelled:
// Loading cancelled
default:
// Handle all other cases
}
}
如果實在需要控制多個播放源，可以考慮使用AVQueuePlayer來處理。
聲音優先級
默認的聲音優先級為視頻播放的默認優先級AVAudioSessionCategoryAmbient，靜音狀態不會有聲音，退出后臺就停止播放。AudioSessionCategoriesandModes有關于聲音優先級的介紹。
使用如下函數切換
AVAudioSession.sharedInstance().setCategory(_ category: String)
一般的，如果需要靜音狀態下也有聲音可以直接使用AVAudioSessionCategoryPlayback這個Value。
硬件加速
iOS6以后可以使用底層框架VideoToolbox來實現硬解碼，具體視頻工具箱和硬件加速有很清楚的解釋，基本的場景，使用AVPlayer即可滿足需求。
