延時(shí)高

1. 延時(shí)的測(cè)量

一般測(cè)量延時(shí)最簡(jiǎn)單的方法，就是推流端和播放端對(duì)著同一個(gè)時(shí)鐘，然后用播放端顯示的時(shí)間減去推流端顯示的時(shí)間，就得到了粗略的直播延時(shí)。

2. 延時(shí)高問(wèn)題分析

首先，我們看看可能產(chǎn)生延時(shí)的模塊有哪些：

• 圖像處理延時(shí)，比如畫(huà)面剪裁、美顏、特效處理
• 視頻編碼/解碼延時(shí)
• 網(wǎng)絡(luò)傳輸?shù)难訒r(shí)
• 業(yè)務(wù)代碼中的緩沖區(qū)

一般圖像處理、數(shù)據(jù)拷貝、編解碼帶來(lái)的延時(shí)，都是ms 級(jí)別的，真正會(huì)產(chǎn)生比較大延時(shí)的地方，一個(gè)是互聯(lián)網(wǎng)上的網(wǎng)絡(luò)傳輸延時(shí)，另一個(gè)就是業(yè)務(wù)代碼中的緩沖區(qū)了。

2.1 網(wǎng)絡(luò)傳輸延時(shí)

數(shù)據(jù)在網(wǎng)絡(luò)上傳輸，從一個(gè)節(jié)點(diǎn)經(jīng)過(guò)多級(jí)服務(wù)器轉(zhuǎn)發(fā)到達(dá)另一個(gè)節(jié)點(diǎn)，是不可避免有物理延時(shí)的，下面這個(gè)表格給出了理論上數(shù)據(jù)在光纖中的網(wǎng)絡(luò)傳輸?shù)臅r(shí)間（實(shí)際場(chǎng)景中的延時(shí)往往比這個(gè)要大很多，因?yàn)樯婕暗綆?、網(wǎng)絡(luò)抖動(dòng)等干擾）播放端離推流端或者邊緣服務(wù)器節(jié)點(diǎn)的物理距離越近，延時(shí)會(huì)越小。

2.2 業(yè)務(wù)代碼中的緩沖區(qū)

業(yè)務(wù)代碼中的緩沖區(qū)，主要是推流端的緩沖區(qū)和播放端的緩沖區(qū)，一個(gè) 30 fps 的視頻流，緩沖區(qū)每滯留 30 幀,延時(shí)就會(huì)增大 1s，那么，它們是怎么產(chǎn)生緩沖數(shù)據(jù)的呢 ？

• 推流端的數(shù)據(jù)是怎么 “積累” 起來(lái)的 ？
  采集 -> 編碼 -> 數(shù)據(jù)發(fā)送 -> [服務(wù)器]
  當(dāng)網(wǎng)絡(luò)產(chǎn)生抖動(dòng)的時(shí)候，“數(shù)據(jù)發(fā)送” 會(huì)因此減慢，產(chǎn)生一定的阻塞，從而導(dǎo)致這些數(shù)據(jù)會(huì)被 “積累” 在了推流端的發(fā)送緩沖區(qū)中。
• 播放端的數(shù)據(jù)怎么 “積累” 起來(lái)的 ？
  [服務(wù)器]-> 數(shù)據(jù)接收 -> 解碼 -> 渲染
  當(dāng)網(wǎng)絡(luò)產(chǎn)生抖動(dòng)的時(shí)候，服務(wù)器的數(shù)據(jù)無(wú)法 “及時(shí)” 地傳輸?shù)讲シ哦?，而由?TCP協(xié)議的可靠性，所有的數(shù)據(jù)都會(huì)被服務(wù)端積累起來(lái)，在網(wǎng)絡(luò)恢復(fù)良好的時(shí)候，會(huì)快速傳輸?shù)讲シ哦耍@些數(shù)據(jù)會(huì)被動(dòng)地 “積累” 在接收緩沖區(qū)中。
• 怎么消除業(yè)務(wù)緩沖區(qū)的累積延時(shí)呢 ？
  推流端的發(fā)送緩沖區(qū)，可以在網(wǎng)絡(luò)恢復(fù)良好的時(shí)候，快送發(fā)送出去，從而消除掉這個(gè)累積延時(shí)。
  播放端的接收緩沖區(qū)，可以通過(guò)丟幀或者加速播放的方式快速消費(fèi)掉緩沖區(qū)中的數(shù)據(jù)，從而消除累計(jì)延時(shí)。

2.3 協(xié)議延時(shí)

通常標(biāo)準(zhǔn)的直播協(xié)議有RTMP，HLV，HLS 三種，
一般RTMP/HLV 協(xié)議的延時(shí)在 1～3s，
HLS協(xié)議的直播延時(shí)則會(huì)更大，注重延時(shí)的直播應(yīng)用，大都會(huì)選擇 RTMP/HLV 協(xié)議，這些協(xié)議均是基于 tcp 的協(xié)議，tcp協(xié)議的多個(gè)特性導(dǎo)致其延時(shí)明顯要高于基于udp的私有協(xié)議，主要有如下方面：

• 建立連接的三次握手
• ACK 機(jī)制
• 丟包重傳

因此，如果想從本質(zhì)上解決直播延時(shí)問(wèn)題，還是要換成基于 udp 的私有協(xié)議來(lái)傳輸數(shù)據(jù)。

緩沖區(qū).png

顯示緩沖區(qū)” 其實(shí)是解碼線程和 渲染線程 之間的橋梁，由于解碼和渲染的抖動(dòng)并不頻繁，所以并不需要特別大的緩沖區(qū)，最低 3 幀左右即可，一幀在生產(chǎn)，一幀在消費(fèi)，還有一幀在緩沖區(qū)中待命。

而 “幀緩沖區(qū)” 是用來(lái)抵抗網(wǎng)絡(luò)抖動(dòng)的，網(wǎng)絡(luò)抖動(dòng)往往是比較頻繁的，抖動(dòng)的時(shí)間也有時(shí)會(huì)比較久一些，所以 “幀緩沖區(qū)” 相對(duì)要設(shè)置得大一點(diǎn)，但以不過(guò)于影響內(nèi)存和播放延時(shí)為前提。
對(duì)于直播場(chǎng)景，為了防止 “被動(dòng)丟幀”，往往“幀緩沖區(qū)”默認(rèn)是設(shè)置為 “無(wú)限大” 的，當(dāng)檢測(cè)到緩沖區(qū)達(dá)到一定閾值后，啟動(dòng)一些諸如主動(dòng)丟幀或者倍數(shù)播放的方式，來(lái)快速消耗掉緩沖的內(nèi)容，從而降低內(nèi)存和延時(shí)。

ijkplayer.png

數(shù)據(jù)處理.png