音視頻學習筆記 - RTP與RTCP

? 實時傳輸協議(RTP)詳細說明了在互聯網上傳遞音頻和視頻的標準數據包格式. 它一開始被設計為一個多播協議, 但后來被用在很多單播應用中. RTP協議常用于流媒體系統, 視頻會議, 它是IP電話產業的技術基礎. RTP協議和RTP控制協議RTCP一起使用, 而且它是創建在UDP協議上的.

RTP

報文結構

Screen Shot 2020-03-07 at 6.54.16 PM.png

一般情況下, 在實時互動直播系統傳輸音視頻數據流時, 并不直接將音視頻數據流交給UDP傳輸, 而是先給音視頻數據加個RTP頭, 然后再交給UDP進行傳輸.

字段含義

• sequence number: 序號, 用于記錄包的順序.

• timestamp: 時間戳, 同一個幀的不同分片的時間戳是相同的, 不同幀的時間戳肯定是不一樣的.

• PT: Payload Type, 數據負載類型. 音頻流的PT值與視頻流的PT值是不同的, 通過它就可以知道這個包存放的是什么類型的數據.

• SSRC: 共享媒體流的源. 它是全局唯一的, 不同的SSRC表示不同的共享源.

• CC: CSRC的個數.

• CSRC: 共享源. 一般用在混音或混屏上. 如, 在一路音頻流中混合了幾個人的聲音, 那么每個人的聲音就是一個CSRC.

• X: RTP擴展標記. 如果該位置是1, 說明此RTP包還有擴展頭. 如果有擴展頭, 它就被放在CSRC之后.

• M: Mark位. 一般用于界定視頻幀邊界.

• P: 填充位. 包的末尾包含了一個或多個填充字節.

示例:

...

{V=2,P=0,X=0,CC=0,M=0,PT:98,seq:13,ts:1122334455,ssrc=2345},
{V=2,P=0,X=0,CC=0,M=0,PT:111,seq:14,ts:1122334455,ssrc=888},
{V=2,P=0,X=0,CC=0,M=0,PT:98,seq:14,ts:1122334455,ssrc=2345},
{V=2,P=0,X=0,CC=0,M=0,PT:111,seq:15,ts:1122334455,ssrc=888},
{V=2,P=0,X=0,CC=0,M=0,PT:98,seq:15,ts:1122334455,ssrc=2345},
{V=2,P=0,X=0,CC=0,M=0,PT:111,seq:16,ts:1122334455,ssrc=888},
{V=2,P=0,X=0,CC=0,M=0,PT:98,seq:16,ts:1122334455,ssrc=2345},
{V=2,P=0,X=0,CC=0,M=0,PT:111,seq:17,ts:1122334455,ssrc=888},
{V=2,P=0,X=0,CC=0,M=0,PT:98,seq:17,ts:1122334455,ssrc=2345},
{V=2,P=0,X=0,CC=0,M=0,PT:111,seq:18,ts:1122334455,ssrc=888},
{V=2,P=0,X=0,CC=0,M=0,PT:98,seq:18,ts:1122334455,ssrc=2345},
{V=2,P=0,X=0,CC=0,M=0,PT:111,seq:19,ts:1122334455,ssrc=888},
{V=2,P=0,X=0,CC=0,M=0,PT:98,seq:19,ts:1122334455,ssrc=2345},
{V=2,P=0,X=0,CC=0,M=0,PT:111,seq:20,ts:1122334455,ssrc=888},
{V=2,P=0,X=0,CC=0,M=1,PT:98,seq:20,ts:1122334455,ssrc=2345},
...

PT=98表示視頻數據, PT=111表示音頻數據

RTCP

? 實時傳輸控制協議, 它為RTP媒體流提供信道外控制. RTCP本身并不傳輸數據, 但和RTP一起協作將多媒體數據打包和發送. RTCP定期在流多媒體會話參加者間傳輸控制數據. RTCP的主要功能是為RTP所提供的服務質量提供反饋.

RTCP收集相關媒體連接的統計信息, 如傳輸字節數, 傳輸分組數, 丟失分組數, 單向和雙向網絡延遲等等, 網絡應用程序即可利用RTCP的統計信息來控制傳輸的品質, 如當網絡帶寬高負載時限制信息流量或改用壓縮比較小的編解碼器.

報文結構

Screen Shot 2020-03-07 at 7.39.15 PM.png

字段含義

• V=2: 報文的版本, 默認是2.
• P: 填充標識位, 如果該位置是1, 則在RTCP報文的最后會有填充字節.
• RC: Report Count, 指RTCP報文中接收報告的報文塊個數.
• PT: Payload Type.
• Length: 該長度包括RTCP頭, 報文內容以及填充字節.
• NTP timestamp: 每個發送報文的NTP時間戳.
• RTP timestamp: RTP時間戳.
• sender's packet count: 發送報文總數.
• sender's octet count: 發送的總字節數.
• SSRC_n: 數據源n.
• fraction lost: 8 位, SSRC_n從上一次報告到本次報告的丟包比例.
• cumulative number of packet lost: SSRC_1的總丟包數.
• extended highest sequence number received: 低16位表示收到的最大seq, 高16位表示seq循環次數.
• interarrival jitter: RTP包到達時間間隔的統計方差.
• LSR: 最后一個SR的時間戳, 它是NTP時間戳中間的32位, 如果沒有收到SR, 此字段位0.
• DLSR: 32位, 延遲以1/65536秒為單位, 記錄源SSRC_n接收SR的時間與發送SR的時間差.

RTCP PT類型

cd6ccdd0d30541d9b59fd5ff5d216178

f4aeb8f448798523960756678c35fbee

• Header部分用于標識該報文的類型, 如是SR還是RR.
• Sender info部分用于指明作為發送方, 到底發了多少包.
• Report block部分指明發送方作為接收方時, 它從各個SSRC接收包的情況.

? SR報文并不僅指發送方發了多少數據, 它還報告了作為接收方, 它接收到的數據情況. 當發送方收到對端的接收報告時, 它就可以根據接收報告來評估它與對端間的網絡質量, 再根據網絡質量做傳輸策略的調整.