目錄
1 Rtmp 定義
2 Rtmp 基礎(chǔ)
3 協(xié)議組成
4 Rtmp 消息流程
5 實例分析:項目使用librtmp接口
6 主要Rtmp函數(shù)源碼分析
7 QA
正文
相關(guān)系列文章：
H264解析:H264解析_fdsafwagdagadg6576的專欄-CSDN博客_rtp幀格式
Flv 格式分析參見：http://www.lxweimin.com/p/27d506edd4e4
ngnix-rtmp :Ngnix Rtmp_fdsafwagdagadg6576的專欄-CSDN博客
1 Rtmp定義
定義:Rtmp是一種音視頻數(shù)據(jù)在網(wǎng)絡(luò)上傳輸?shù)木W(wǎng)絡(luò)協(xié)議.類似Http是一種網(wǎng)頁文本數(shù)據(jù)在網(wǎng)絡(luò)上傳輸?shù)木W(wǎng)絡(luò)協(xié)議.音視頻傳輸協(xié)議還有HLS,RTSP等.
原理：
Rtmp作用:rtmp是傳輸flv的流媒體協(xié)議.也就是將音視頻包封裝成flv tag發(fā)送.
Rtmp特點是chunk,將flv數(shù)據(jù)放入一個個小的chunk中傳輸.
Rtmp基于Tcp協(xié)議. Port is 1935.
Librtmp/Rtmpdump 是一個用來處理 RTMP 流媒體的工具包.
Rtmp使用請參考：FFMpeg處理RTMP流的總結(jié)_北雨南萍-CSDN博客
2 基礎(chǔ)
H264->FLV封裝->rtmp 封裝
h264=nalu1+nalu2+...;
nalu加上變成了flv tag header變成flv tag. flv = flv tag1+flv tag2+....
flv tag放入chunk data中. rtmp消息=rtmp header + chunk data.
3 協(xié)議組成
3.1 rtmp協(xié)議：消息格式+流程
1 ) rtmp 消息格式：
- 整體結(jié)構(gòu)
Rtmp msg= Rtmp header + chunk data;
Rtmp header= Basice header + Chunk msg header + Ext Timestamp;
Chunk msg header = Flv tag header=Timestamp+body size+ TypeID+StreamID;
- 各個域介紹
Rtmp struct ://12bytes
packet.m_headerType = RTMP_PACKET_SIZE_LARGE; //0x00
packet.m_packetType = RTMP_PACKET_TYPE_AUDIO; //type is 0x08 or 09
packet.m_nChannel = RTMP_AUDIO_CHANNEL; //0x04,channel is chunk msg id,it headerType 后6bit,對于a/v data是固定數(shù)據(jù)04
packet.m_nTimeStamp = item->m_dwTimeStamp; //timestamp
packet.m_nInfoField2 = m_pub_rtmp.m_stream_id ;//chunk stream id,it is always 0
packet.m_nBodySize = item->m_dwSize + RTMP_AUIDO_FRAME_SIZE ;
2 ) chunk msg header
i） basic header and chunk msg header長度
basic header和chunk msg header是變長的.basic header 1-3個字節(jié). chunk msg header 0,3,7,11字節(jié).
basic header的前兩個2bit決定了,chunk msg header的字節(jié)長度是11 bytes,7 bytes,3 bytes還是0 bytes.
basic header的chunk stream id的大小，決定basic header是1 bytes,2 bytes or 3 bytes。如何區(qū)分參見：librtmp協(xié)議分析---RTMP_SendPacket函數(shù)_終究還是能力達(dá)不到預(yù)期的目標(biāo)-CSDN博客.
ii ) chunk msg header結(jié)構(gòu)
注意chunk msg header就是flv tag header.分成script(0x12),video(0x9),audio(0x08) 3種.
下面的消息圖以basic header 1 bytes 為例。basic header 與 4種chunk msg header 的關(guān)系.
其中第一個字節(jié)是basic header,其他字節(jié)是chunk msg header.
chunk msg header作用：它 決定了一個msg 放入一個chunk data ，還是放入多個chunk data.
上述圖片參見：RTMP Chunk Header - 簡書 里面還有抓包分析
3 ) 4種chunk msg 應(yīng)用場景
上面的4副圖表示msg0-3 4中消息類型.
msg0 帶有絕對時間，用于發(fā)送metadata, 發(fā)送第一次 video,audio.
msg3 只有basic header，沒有chunk msg header，直接加上chunk data。
用于一個msg被分成多個chunk，第一個chunk 是msg0,后面的chunk 采用msg3的格式。
4 ) basic header和 chunk msg header 關(guān)系導(dǎo)圖
參見：librtmp協(xié)議分析---RTMP_SendPacket函數(shù)_終究還是能力達(dá)不到預(yù)期的目標(biāo)-CSDN博客
5 ) 抓包分析
第一個字節(jié)headerType is 0x03, 后6 bit 是11，即channelid=chunk msg id=0x03.
查表得出是invoke消息(connect or publish).
00 00 00 is 時間戳Timer=0.
00 01 02 is AMFSize=18.
14 查表表示AMFType=invoke.
00 00 00 00 表示streamid總是0.
上面是12字節(jié)的rtmp協(xié)議頭,下面是amf語法
02 is string, 0007 is string len is 7.
63 6F 6E 6E 65 63 74 is string ascii value "connect".
00 is double.
3F F0 00 00 00 00 00 00 is double value 0.0
08 is map begin
參考查表：https://wenku.baidu.com/view/cdc944114afe04a1b171de86.html
6 ) 實例分析
a. 發(fā)送aac音頻包:
編碼器的打包大小為320字節(jié)，時間間隔為40ms,假設(shè)塊大小設(shè)定為1000，幾個音頻包的時間戳依次為1000、1040、1080、1120.....，則可能的發(fā)送格式如下所示:
| rtmp packet | format | timestamp | message length | packet size |
| #1 | fmt0 | 1000 | 320 | 320+1+11 |
| #2 | fmt2 | 40 | x | 320+1+3 |
| #3 | fmt3 | x | x | 320+1 |
| #4 | fmt3 | x | x | 320+1 |注：上例我們也可以每個包都用fmt0來發(fā)送，這樣的話，每個包都要指定準(zhǔn)確的時間戳和長度。
b. 發(fā)送視頻包:
時間間隔為40ms,假設(shè)塊大小設(shè)定為1000，幾個視頻包的時間戳依次為1000、1040.....，大小依次為2500，1600，....則可能的發(fā)送格式如下所示: (一個msg分包實例，第一個包是fmt0,第二個以后是fmt3)
| rtmp packet | format | timestamp | message length | packet size |
| #1 | fmt0 | 1000 | 2500 | 1000+1+11 |
| #2 | fmt3 | x | x | 1000+1 |
| #3 | fmt3 | x | x | 500+1 |
| #4 | fmt0 | 1040 | 1500 | 1000+1+11 |
| #5 | fmt3 | x | x | 600+1 |
注：上例中如果每幀的音頻間隔是相等，第二幀的第一個包（#4），我們也可以用fmt1來發(fā)送，將消息頭中的timestamp指定為時間差。并指定幀長。
4 Rtmp 消息流程
協(xié)議流程：RTMP流媒體播放過程：握手(handshake)，建立連接，建立流，播放.
Librtmp封裝了上述流程. Ngx-rtmp 實現(xiàn)協(xié)議，請參見:Ngnix Rtmp_fdsafwagdagadg6576的專欄-CSDN博客
相關(guān)源碼參考：【原】librtmp源碼詳解 - 尚碼園.
上述源碼分析通常用不到，僅僅適合調(diào)試備用.
整體流程：
基本的播放流程：收到連接請求-》應(yīng)答連接成功-》收到播放請求-》檢測點播的流是否存在-》發(fā)送stream begin消息-》發(fā)送paly.start消息—-》連續(xù)發(fā)送音視數(shù)據(jù)-》...-》直接收到關(guān)閉連接請求或播放到文件末尾.
參考：https://my.oschina.net/u/1983790/blog/686521
5 實例分析:項目使用librtmp接口
rtmp封裝h264流程:nalu 第一層添加video tag data header，第二層添加video.
Tag header,第三層添加rtmp header.
然后將msg分包成多個chunk. 參見RTMP_SendPacket
引用參考:流媒體之RTMP——librtmp推流測試_一步的專欄-CSDN博客_librtmp推流
6 主要Rtmp函數(shù)源碼分析
RTMP_ReadPacket 源碼看是實現(xiàn)組合chunk為一個msg。
librtmp 源碼分析筆記 RTMP_ReadPacket_lucyTheSlayer的博客-CSDN博客_rtmp_readpacket
RTMP_ClientPacket 是case 不同消息類型,0x12 metadata,0x09 video,0x08 audio
librtmp協(xié)議分析---RTMP_ConnectStream函數(shù)_終究還是能力達(dá)不到預(yù)期的目標(biāo)-CSDN博客
librtmp協(xié)議分析---RTMP_SendPacket函數(shù):將一個msg分成多個chunk data發(fā)送
https://blog.csdn.net/xwjazjx1314/article/details/54863428
7 QA: Rtmp 和flv什么關(guān)系？
Rtmp是流媒體傳輸協(xié)議，可以傳輸h264和flv格式的數(shù)據(jù).
Flv的Metadata 是怎么通過rtmp傳輸?shù)哪兀縈etadata屬于script tag，是按照script tag的方式傳輸?shù)模磆eader tag is 0x12.
Flv和h264什么關(guān)系？
Flv是文件格式,其中的video數(shù)據(jù),通常用h264格式(也可以是h265,v8等).
Flv 的本質(zhì)是flv tag,將每幀封裝到一個tag中,而且每個tag都有時間戳，這樣也支持點播了.
