一:YUV的概念
YUV:(也稱為YCbCr),是電視系統所采用的一種顏色編碼方法
Y:表示亮度,也就是灰階值,他是基礎信號
UV:表示的則是色度,UV的作用是描述影像的色彩及飽和度,它們用于指定像素的顏色
二:YUV常見格式
YUV4:2:0 (YCbCr 4:2:0)--????這比RGB少了二分之一????????
YUV4:2:2 (YCbCr 4:2:2)--YUV4:2:2就是比RGB小三分之一,RGB8:8:8
YUV4:4:4 (YCbCr 4:4:4)--理解為??????1:1:1,就是????4個??Y對應????4個??U和??4個??V
1:YUV4:2:0
YUV4:2:0并不意味著只有Y,Cb2個分量,而沒有Cr分量,他實際指的是每行掃描線來說,只有一種色度分量,它以2:1的抽樣率來存儲的;
2:YUV存儲格式
plannar(平面)
1:I420:YYYYYYYY UU VV -->YUV420P,是PC端用的
2:YV12: YYYYYYYY VV UU --> YUV420P
packed(打包)
1:NV12: YYYYYYYY UVUV --> YUV420SP
2:NV21: YYYYYYYY VUVU --> YUV420SP
有可能開發過程,比如iOS/安卓,在解碼視頻后發現圖像出現倒置或者翻轉,有可能是因為他們的YUV格式不一致,因為PC端一般常用與I420,安卓一般默認NV21,iOS一般默認NV12,如果想行為統一,就需要保證一致的存儲格式;
三:NALU
NALU = NAL Header + NAL Body
H264碼流在網絡中傳輸時實際是以NALU的形式進行傳輸,每個NALU由一個字節Header和RBSP組成
NAL Header 解析
NAL Header 為一個字節,里面包含什么樣的數據呢
第0位:F
第1~2位:NRI
第3~7位:type
F:forbidden_zero_bit,在H264規范中規定了第一位必須為0,記住就行了
NRI:表示重要性,暫時無用處,000最無用,111最有用,用于表示當前NALU的重要性,值越大,越重要,解碼器在解碼處理不過來的時候丟掉重要性為0的NALU
type:表示這個NAL的類型,一下表示常見的幾個
1:5:IDR圖像的片(可以理解為I幀,I幀由多個I片組成)
2:7:序列參數集(sps)
3:8:序列參數集(pps)
NAL類型
單一類型:一個RTP包只包含NALU,就是說H264幀里只包含了一個片,例如P幀或者B幀都是單一類型
組合類型:一個RTP包含多個NALU,類型是24-27,像pps或者sps一般都放在一個包里,以為2個數據單元都非常小
分片類型:一個NALU單元分成多個RTP包,類型28-29
第1個字節:FU indicator分片單元指示符
第2個字節:FU Header 分片單元頭,有多個片,就有FU Header組合起來
FU Header
S:start bit用于指明分片的開始,在網絡傳輸時,一個個包,我們知道他的分片的包,那么如何區分是開始還是末尾的包呢?如果為1就是分片的開始
E:end bit用于指明分片的結束
R:未使用,設置為0
Type:指明分片NAL類型,網絡傳輸完成后,還是需要將分片組合成NALU單元,這個NAL
單元是關鍵幀還是非關鍵幀是sps還是pps,就需要根據Type來判斷
在傳輸過程中將一個幀切割成多個片,如果在傳輸過程中順序打亂,或者丟失了其中某個片,我們怎么判斷NALU單元傳輸完整呢?
依據FU Header的S/E位,并借助于RTP包的包頭,在RTP的包頭包括了每個包的序列號,如果收到的包,收到了S包,也收到了E包,中間的包的序號是連續的,那就說明包是完整的,如果不是連續的就是丟包了,如果沒有丟包就可以組合起來
