2個(gè)月前，我在某直播平臺(tái)上看了一場(chǎng)游戲直播，那叫一個(gè)難受，連延遲帶卡頓，看到后半場(chǎng)卡的我直上廁所，回來(lái)后發(fā)現(xiàn)畫(huà)面雖變了但仍舊卡，一氣之下果斷的關(guān)了直播。上個(gè)月去上海參加華為手機(jī)的發(fā)布會(huì)，想在現(xiàn)場(chǎng)做一下直播，移動(dòng)4G竟然連信號(hào)都沒(méi)有，只能退回到3G網(wǎng)絡(luò)在朋友群發(fā)一些圖片。面對(duì)移動(dòng)網(wǎng)絡(luò)的問(wèn)題，只能是沉默再沉默了。
其實(shí)不只是我看直播會(huì)卡，網(wǎng)上還有很多人反映類(lèi)似情況，某些硬件論壇探討直播延遲卡頓的帖子還真是不少。很多人以為用PC和手機(jī)看直播或者做直播時(shí)延遲卡頓是硬件的事，其實(shí)硬件只是其中的一部分因素，直播軟件的自身原因是另一部分因素，主要因素還是在于網(wǎng)絡(luò)帶寬，以及為直播應(yīng)用提供云服務(wù)的視頻云計(jì)算產(chǎn)品。所以，視頻云計(jì)算產(chǎn)品的能力，決定這一個(gè)互動(dòng)直播產(chǎn)品的運(yùn)行情況。為了讓大家更清楚，下面，我們就來(lái)談?wù)劵?dòng)直播遇到的難題以及視頻云的直播解決方案。
用戶體驗(yàn)，決定了互動(dòng)直播在技術(shù)上面臨三大難題
使用互動(dòng)直播的用戶最關(guān)心三個(gè)問(wèn)題：延時(shí)、畫(huà)面流暢性與直播清晰度。理想的直播狀態(tài)當(dāng)然是低延時(shí)、高流暢性與高清晰度。這意味著，延時(shí)最大不超過(guò)500ms，越小越好；流暢性最好能夠接近電影及電視的播放速率；清晰度上，至少是用戶主觀能夠感受到清晰。
原因在于，當(dāng)前4G/wifi的復(fù)雜網(wǎng)絡(luò)傳輸情況，并不能滿足用戶對(duì)互動(dòng)直播產(chǎn)品視頻體驗(yàn)的要求甚至說(shuō)是基本需求，實(shí)現(xiàn)直播時(shí)用戶的最佳體驗(yàn)，高清晰對(duì)眼下的移動(dòng)直播而言其實(shí)是一個(gè)比較奢侈的存在。其實(shí)只要不會(huì)頻繁出現(xiàn)延遲、卡頓等情況，就已經(jīng)是提高了用戶體驗(yàn)。
除了4G網(wǎng)絡(luò)本身的傳輸速率限制，當(dāng)前直播行業(yè)的上千款移動(dòng)直播產(chǎn)品其實(shí)是在瓜分有限的4G網(wǎng)絡(luò)資源。尤其是在同一直播現(xiàn)場(chǎng)大量移動(dòng)直播應(yīng)用同時(shí)工作的時(shí)候，會(huì)嚴(yán)重加劇延遲與卡頓，有些用戶甚至無(wú)法正常使用移動(dòng)直播。事實(shí)上，當(dāng)前中國(guó)仍舊有80%的移動(dòng)環(huán)境處于弱網(wǎng)狀態(tài)，基本上所有的移動(dòng)直播，內(nèi)容傳輸商都會(huì)更加困難。相關(guān)數(shù)據(jù)顯示，有75%的視頻從業(yè)者認(rèn)為，延遲和卡頓阻礙了直播行業(yè)的整體發(fā)展。延時(shí)、卡頓不流暢、不夠清晰，可以說(shuō)是實(shí)現(xiàn)互動(dòng)直播產(chǎn)品在技術(shù)上面臨的三大難題。
云計(jì)算是直播的本源，視頻云技術(shù)是解決三大難題的關(guān)鍵
互動(dòng)直播在技術(shù)上有三大難題，但火熱的直播行業(yè)同時(shí)讓用戶暴漲，這便給直播的發(fā)展帶來(lái)了更大的壓力，生存難度也由此增加。作為一款好用的直播產(chǎn)品，都應(yīng)該思考在直播過(guò)程中，如何滿足用戶低延時(shí)流暢清晰的基本需求？這里的延時(shí)是端到端延時(shí)，包括采集、編碼、打包、發(fā)送、網(wǎng)絡(luò)傳輸、接收、解碼到顯示。其中網(wǎng)絡(luò)傳輸延時(shí)占比最大，要做到低延時(shí)在傳輸層一般選用udp的傳輸協(xié)議，讓數(shù)據(jù)包盡力傳輸。因?yàn)門(mén)CP的延時(shí)較大，尤其在wifi/4G這種丟包時(shí)有發(fā)生的時(shí)候。然而UDP是沒(méi)有qos的，無(wú)法保障其傳輸?shù)姆?wù)質(zhì)量，而滿足用戶的流暢清晰的視覺(jué)體驗(yàn)，要求傳輸一定要是可靠的，這就需要在應(yīng)用層自主開(kāi)發(fā)實(shí)現(xiàn)一套流控機(jī)制，來(lái)提供整個(gè)互動(dòng)直播鏈路的服務(wù)保障。
那么，到底如何來(lái)實(shí)現(xiàn)這樣一套行之有效的流控方案呢？我們可以從12月10日中國(guó)軟件技術(shù)大會(huì)上，網(wǎng)易視頻云技術(shù)專(zhuān)家朱玲的分享中找到一些答案。在技術(shù)上，面對(duì)互動(dòng)直播出現(xiàn)的亂序、延時(shí)抖動(dòng)、丟包等不確定的網(wǎng)絡(luò)現(xiàn)象，網(wǎng)易視頻云將解決方案分成三個(gè)步驟：即平滑發(fā)送、扛丟包以及抗抖動(dòng)。
步驟1：平滑發(fā)送。就是在發(fā)送端維護(hù)一個(gè)rtp數(shù)據(jù)包buffer，這是一個(gè)發(fā)送優(yōu)先級(jí)隊(duì)列。當(dāng)rtp數(shù)據(jù)包產(chǎn)生后并不是立刻發(fā)送，而是存放到buffer中緩存。并開(kāi)啟一個(gè)發(fā)送定時(shí)器線程，將數(shù)據(jù)包從數(shù)據(jù)buffer中取出，存放在優(yōu)先級(jí)隊(duì)列中進(jìn)行發(fā)送。在發(fā)送之前，會(huì)進(jìn)行網(wǎng)絡(luò)探測(cè)，根據(jù)探測(cè)到的可用帶寬，自適應(yīng)的調(diào)節(jié)發(fā)送速率。這樣，就實(shí)現(xiàn)了優(yōu)先選擇以及自適應(yīng)性的精準(zhǔn)發(fā)送，根據(jù)帶寬的情況適當(dāng)發(fā)送數(shù)據(jù)包。
步驟2：扛丟包。網(wǎng)絡(luò)丟包有兩種原因：一種是網(wǎng)絡(luò)中存在的固有，隨機(jī)丟包，另一種是網(wǎng)絡(luò)擁塞丟包。針對(duì)隨機(jī)丟包，可以通過(guò)fec前向糾錯(cuò)編碼方式，對(duì)傳輸?shù)拿襟w包添加合理的冗余包，接收端利用接收到部分媒體包部分冗余包恢復(fù)出全部媒體包的信息，讓接收端對(duì)丟包完全無(wú)感知，另一方面，也是大多數(shù)情況我們要做的事情，就是避免擁塞，對(duì)我們的發(fā)送的數(shù)據(jù)流量做合理的帶寬估計(jì)，并基于最大發(fā)送帶寬估計(jì)中，控制視頻編碼器，發(fā)送最有效的，最有價(jià)值的視頻信息。
步驟3：抗抖動(dòng):。除了丟包這種常見(jiàn)網(wǎng)絡(luò)問(wèn)題以外，抖動(dòng)也是無(wú)處不在的，所謂抖動(dòng)就是包到達(dá)對(duì)端的延時(shí)是變化的，不一定的，導(dǎo)致的結(jié)果播放的不流暢；那要解決網(wǎng)絡(luò)抖動(dòng)問(wèn)題。一般是引入jitter buffer策略，在解碼器與顯示之間維持一個(gè)緩沖buffer，當(dāng)數(shù)據(jù)解碼之后，并不是立刻送去播放，而是估計(jì)一個(gè)抖動(dòng)最優(yōu)值，延時(shí)這個(gè)最優(yōu)值時(shí)間再講數(shù)據(jù)播放，實(shí)現(xiàn)的難點(diǎn)是如何動(dòng)態(tài)估計(jì)這個(gè)jitter。 JitterBuffer值過(guò)大則延時(shí)增加，過(guò)小則抖動(dòng)導(dǎo)致播放不流暢情況惡化。可以采用卡爾曼濾波方式自回歸迭代逐步收斂到最優(yōu)的jitter值，作為我們的估計(jì)值，來(lái)平滑抖動(dòng)。
經(jīng)過(guò)以上3個(gè)步驟，目前網(wǎng)易視頻云服務(wù)的互動(dòng)直播產(chǎn)品的平均延時(shí)，在網(wǎng)絡(luò)較好情況下，端到端延時(shí)控制在200ms左右，在網(wǎng)絡(luò)差強(qiáng)人意的情況下，丟包率保持在20%以內(nèi)。這個(gè)數(shù)據(jù)，足可以為用戶提供較為流暢清晰的視頻體驗(yàn)。
更多行業(yè)引入互動(dòng)直播，視頻云3步解決方案很有意義
在移動(dòng)直播誕生以后，我認(rèn)為直播會(huì)是各行業(yè)快速連接互聯(lián)網(wǎng)的方式之一。隨著直播行業(yè)的迅速發(fā)展，多個(gè)行業(yè)都開(kāi)始對(duì)直播這種方式來(lái)進(jìn)行一些適當(dāng)?shù)倪\(yùn)用。譬如在線教育行業(yè)，最大的短板就是師生互動(dòng)問(wèn)題，沒(méi)有互動(dòng)只有內(nèi)容會(huì)大大降低用戶體驗(yàn)，將直播引入，同時(shí)配合教學(xué)白板的互動(dòng)，立即就有了現(xiàn)場(chǎng)交流感。再如健康醫(yī)療行業(yè)的臨床教學(xué)，也是一個(gè)難題，不可能所有學(xué)生都進(jìn)入手術(shù)室現(xiàn)場(chǎng)去學(xué)習(xí)，手術(shù)直播則可以解決這個(gè)問(wèn)題，教授們?cè)谧鍪中g(shù)的時(shí)候同時(shí)做直播與學(xué)生進(jìn)行交流，這是醫(yī)療行業(yè)的一個(gè)非常大的進(jìn)步。除此，直播互動(dòng)在娛樂(lè)秀場(chǎng)、游戲、會(huì)場(chǎng)及安防監(jiān)控等領(lǐng)域的應(yīng)用，已成業(yè)內(nèi)常態(tài)。
互動(dòng)直播應(yīng)用的越廣泛，也就意味著直播行業(yè)面臨的挑戰(zhàn)越大，每個(gè)行業(yè)不同的直播都可能遇到更多的問(wèn)題。實(shí)際上，這也是對(duì)每個(gè)互動(dòng)直播產(chǎn)品背后的視頻云服務(wù)產(chǎn)品解決方案的挑戰(zhàn)。目前而言，在我見(jiàn)過(guò)的視頻云計(jì)算解決方案中，網(wǎng)易視頻云的三步式解決方案，思路是是比較簡(jiǎn)潔的，同時(shí)也是比較有效的。簡(jiǎn)單的通過(guò)平滑發(fā)送、扛丟包以及抗抖動(dòng)三步，就能達(dá)到延時(shí)控制在200ms左右，丟包率在20%以內(nèi)。事實(shí)上，業(yè)內(nèi)人士都能看出來(lái)這個(gè)解決方案背后的框架模型設(shè)計(jì)、算法以及技術(shù)難度怕是并不簡(jiǎn)單，其團(tuán)隊(duì)?wèi)?yīng)該付出了很多的努力。獨(dú)創(chuàng)了3步視頻云解決方案，應(yīng)該為團(tuán)隊(duì)感到驕傲，但我認(rèn)為，這個(gè)思路可以為更多的云計(jì)算團(tuán)隊(duì)指引一個(gè)方向，才是其最大的價(jià)值。
當(dāng)前來(lái)看，互動(dòng)直播在將來(lái)對(duì)于一些行業(yè)的重要性是不言而喻的，同時(shí)移動(dòng)直播行業(yè)的發(fā)展與壯大也需要更多視頻云為其提供解決方案。這就需要更多的云計(jì)算產(chǎn)品能持續(xù)創(chuàng)新直播技術(shù)，以為各行業(yè)的升級(jí)轉(zhuǎn)型以及直播行業(yè)的進(jìn)一步發(fā)展，提供更多的幫助。
網(wǎng)易視頻云，在技術(shù)上先一步而行，值得點(diǎn)贊。
