背景
目前視頻相關(guān)的需求越來越多,眾所周知,視頻文件一般都比較大,在移動端播放會耗費(fèi)很大的流量,如何讓用戶以最少的流量播放網(wǎng)絡(luò)視頻,且以最快的速度滿足視頻的播放及用戶拖動響應(yīng),這篇文章將分享一下已經(jīng)實(shí)現(xiàn)的一些策略及方案。
mp4文件基本知識:
對于播放器而言,只要視頻文件的頭信息(時長,幀率,碼率,視頻數(shù)據(jù)偏移量等)解析到了,然后根據(jù)視頻播放的當(dāng)前時間對應(yīng)的內(nèi)容數(shù)據(jù)就可以播放視頻,mp4的基本格式可參考http://www.lxweimin.com/p/3ab4bd0d4219。基于以上,只要解析到視頻的頭信息,然后緩存視頻數(shù)據(jù)內(nèi)容就可以實(shí)現(xiàn)緩存播放及seek播放。
兩種方案
視頻的緩存播放目前有兩種方案,
1、通過解析mp4的格式,將mp4的數(shù)據(jù)直接下載并寫入文件,然后讓播放器直接播放的是本地的視頻文件;
2、使用本地代理服務(wù)器進(jìn)行文件緩存,并將視頻url地址轉(zhuǎn)換成本地代理服務(wù)器地址來實(shí)現(xiàn)視頻的緩存播放。
第一種方案
如圖1所示,第一種方案是先下載視頻到本地文件,然后把本地視頻文件地址傳給播放器,播放器實(shí)際播放的是本地文件。當(dāng)播放器的播放進(jìn)度大于當(dāng)前的可播放的下載緩存進(jìn)度,則暫停播放,等緩存到足夠播放時間之后,再讓播放器開始播放。這種方案的下載方式是與播放器完全沒有關(guān)系的,只是順序的將服務(wù)器下發(fā)的視頻數(shù)據(jù)寫入本地文件,然后讓播放器來讀取數(shù)據(jù)。
但是在調(diào)研的過程中發(fā)現(xiàn),對于mp4文件其實(shí)有兩種格式的數(shù)據(jù),一種是頭信息(即moov)在視頻頭部,一種是在視頻尾部,之前已經(jīng)提到過,視頻播放器只有解析到了頭部才可以播放視頻,所以應(yīng)先獲得mp4的moov才能播放。因此對于moov信息在后面的mp4文件,必須在視頻緩存的時候把它寫到文件前面才可以正常播放。對調(diào)換的過程以及mp4格式感興趣的同學(xué)同樣可以參考http://www.lxweimin.com/p/3ab4bd0d4219 這篇文章。
這種方式雖然能夠滿足緩存播放這個需求,但是會產(chǎn)生很多問題,例如視頻下載到本地,下載多少才可以把本地文件作為視頻源傳給播放器即視頻開啟播放速度;播放的速度大于下載速度的話,該怎么辦?如果播放器seek到文件沒有緩存的位置,應(yīng)該怎么處理?對于視頻關(guān)閉之后,第二次進(jìn)入如何知道已經(jīng)下載了多少?等等問題。
目前的解決方案是,當(dāng)緩存到500kb才把緩存的地址傳給播放器,視頻文件小于500kb則下載完之后再播放,起播慢(需要改進(jìn))。當(dāng)下載進(jìn)度比播放進(jìn)度多5秒的數(shù)據(jù)量才讓播放器播放,不然的話就暫停。如果seek到?jīng)]有緩存的地方就切換到網(wǎng)絡(luò)上停止當(dāng)前的下載,浪費(fèi)一些流量。每次下載都會保存一份配置文件,來保存是否下載完成,沒下載完成則第二次根據(jù)當(dāng)前緩存文件大小,重新開始順序下載。這個時候有些同學(xué)會想,這些數(shù)據(jù)怎么來的,---只是我們測試出來的經(jīng)驗(yàn)值(亟待改進(jìn))。
總的來說第一種方案有如下缺點(diǎn):
1、用戶播放視頻的時候可能等待的時間較長(起播慢)
2、流量浪費(fèi)(seek之后會播網(wǎng)絡(luò)流,停止下載)
3、需要太多控制視頻播放的邏輯來進(jìn)行輔助,與播放器代碼耦合嚴(yán)重。
4、seek之后切源會耗時,每次seek比較慢
因此經(jīng)過一段時間的研究,新的緩存方案應(yīng)運(yùn)而生。
第二種方案
核心技術(shù)要點(diǎn):
1、 通過代理服務(wù)器,從socket截取播放器請求數(shù)據(jù);
2、 根據(jù)截取的range信息,從網(wǎng)絡(luò)服務(wù)器請求視頻數(shù)據(jù);
3、 視頻數(shù)據(jù)寫入本地文件,seek后可以從seek位置繼續(xù)寫入并播放;
4、 邊下邊播,加快播放速度;
5、 與播放器邏輯完全解耦,對于播放器只是一個地址
如圖2所示,新的方案是在播放器與視頻源服務(wù)器之間加一層代理服務(wù)器,截取視頻播放器發(fā)送的請求,根據(jù)截取的請求,向網(wǎng)絡(luò)服務(wù)器請求數(shù)據(jù),然后寫到本地。本地代理服務(wù)器從文件中讀取數(shù)據(jù)并發(fā)送給播放器進(jìn)行播放。過程如圖3所示:
具體流程如下:
1、啟動本地代理服務(wù)器。
2、視頻源地址傳給本地代理服務(wù)器。
3、將視頻源地址轉(zhuǎn)換成本地代理服務(wù)器的地址作為播放器的視頻源地址。
4、播放器向本地代理服務(wù)器發(fā)送請求。
5、本地代理服務(wù)器截取這個請求,再根據(jù)解析出來請求的信息向真正的服務(wù)器發(fā)起請求。
6、本地代理服務(wù)器開始接受數(shù)據(jù),寫入文件并將文件數(shù)據(jù)再返回到播放器。
7、播放器接收到這些數(shù)據(jù)之后播放。
8、seek之后重新進(jìn)行以上步驟。
代理服務(wù)器視頻文件下載方案
考慮到播放視頻的時候,用戶會拖動進(jìn)度條進(jìn)行seek,而此時需要從用戶拖動的位置進(jìn)行下載,這樣會讓視頻文件產(chǎn)生許多的空洞,如圖4所示:
為了節(jié)省流量,只會下載文件中沒有數(shù)據(jù)的部分,也就是圖 4藍(lán)色的部分。因此需要存儲下載的片段信息。目前采用的數(shù)據(jù)結(jié)構(gòu)如下所示:
fragment = [start,end];
array = [fragment 0,fragment 1,fragment 2,fragment 3];
其中fragment指的是下載的片段,start指的是片段開始的位置,end為片段的結(jié)束位置。
array指的是存儲fragment的數(shù)組,數(shù)組中的fragment是依靠start從小到大來來插入到數(shù)組中的,保證了數(shù)組的有序性。
下載的片段是記錄在一個數(shù)組中:array = [fragment0 ,fragment 1,fragment 2,fragment 3];
下載共分為兩個階段:seek階段和補(bǔ)洞階段。
seek階段:即為在播放的時候,根據(jù)用戶seek的位置來進(jìn)行下載。
根據(jù)seek到的位置分為兩種情況:
情況一:如果seek到的位置是在已有的片段中(例如圖中的seek1的位置,該處有數(shù)據(jù)),就從該片段(fragment1)的末尾請求數(shù)據(jù)(end1),直到下個片段的開始位置處(fragment2的start),也就是向服務(wù)器請求的range為:
rang1 = (end1 ) —— start2;
這個片段下載完成后,假如把下載的片段記為fragment1.1,則會把fragment1、fragment1.1、fragment2合為一個片段為fragment1-2,則array = [fragment 0,fragement1-2,frament3];這次下載后的狀態(tài)圖5所示:
接下來一直下載直到array = [fragment 0,fragement1-3];之后會判斷fragement1-3有沒有到文件末尾,如果到了就下載結(jié)束,如果沒到就從從fragement3的(end3)開始下載直到文件末尾。
情況二:如果seek到的位置沒有在已有的片段中,(例如說是在圖4中的seek2的位置),就從seek到的位置開始下載數(shù)據(jù)直到下一個片段的start(fragment2的start2),假如這個片段記為fragment1.1,則會把fragment1.1和fragment2合并即數(shù)組為:array= [fragment 0,fragment1,fagment1.1-2,fragment3];合并后的情況如圖6所示:接下來的操作就是繼續(xù)下載,直到下載到文件末尾;
如果片段太小保存起來就會讓播放器下次播放的時候多發(fā)送一次請求,這樣是很耗費(fèi)資源。例如:如圖6所示,如果fragment1的大小只有1kb,想要補(bǔ)充fragment0與fragment1.1-2之間的數(shù)據(jù),就需要發(fā)送兩次請求,這樣頻繁的發(fā)送請求,比較浪費(fèi)資源。因此當(dāng)fragment太小,就不存在配置數(shù)組中。這樣會少發(fā)一次請求,也不會浪費(fèi)很大的流量。
當(dāng)下載片段太小(例如說下載的長度<20KB),就不保存在片段數(shù)組中(為了控制片段的粒度)。這樣會產(chǎn)生一個問題,當(dāng)視頻文件中間有一個空洞小于20KB,這個片段永遠(yuǎn)補(bǔ)不上。這個時候就需要用到第二階段。
第二階段補(bǔ)洞階段,就是第二次播放的時候,如果文件中有空洞,這個時候不論片段再小,也會存到片段中。
最后當(dāng)配置數(shù)組中存的數(shù)據(jù)只剩下最后的{0,length},length為視頻總長度的時候,表示文件已全部下載完成。
性能比較
下表的數(shù)據(jù)都是在第一次播放60秒,7.8M的視頻得出來的性能數(shù)據(jù)。從表1中可以看出方案二性能比方案一的性能高出很多。