音視頻學習從零到整--(1)
音視頻學習從零到整--(2)
音視頻學習從零到整--(3)
音視頻學習從零到整--(4)
音視頻學習從零到整--(5)
音視頻學習從零到整--(6)
音視頻學習從零到整--(7)
音視頻學習從零到整--(8)
音視頻學習從零到整--(10)

一.H264結構圖

H264視頻壓縮后會成為一個序列幀.幀里包含圖像,圖像分為很多片.每個片可以分為宏塊.每個宏塊由許多子塊組成.這就是H264結構圖.非常的情緒簡單.

H264結構中，一個視頻圖像編碼后的數據叫做一幀，一幀由一個片（slice）或多個片組成，一個片由一個或多個宏塊（MB）組成，一個宏塊由16x16的yuv數據組成。宏塊作為H264編碼的基本單位。

• 場和幀:視頻的一場或一幀可用來產生一個編碼圖像。在電視中，為減少大面積閃爍現象，把一幀分成兩個隔行的場。

• 片:每個圖象中，若干宏塊被排列成片的形式。片分為I片、B片、P片和其他一些片。

  • I片只包含I宏塊，P片可包含P和I宏塊，而B片可包含B和I宏塊。

  • I宏塊利用從當前片中已解碼的像素作為參考進行幀內預測。

  • P宏塊利用前面已編碼圖象作為參考圖象進行幀內預測。

  • B宏塊則利用雙向的參考圖象（前一幀和后一幀）進行幀內預測。

  • 片的目的是為了限制誤碼的擴散和傳輸，使編碼片相互間是獨立的。

• 某片的預測不能以其它片中的宏塊為參考圖像，

• 這樣某一片中的預測誤差才不會傳播到其它片中去

• 宏塊:一個編碼圖像通常劃分成若干宏塊組成，一個宏塊由一個16×16亮度像素和附加的一個8×8 Cb和一個8×8 Cr彩色像素塊組成。

二. H264編碼分層

H264編碼分層,分為了2層.

• NAL層: (Network Abstraction Layer,視頻數據網絡抽象層)

  • 它的作用是H264只要在網絡上傳輸,在傳輸的過程每個包以太網是1500字節. 而H264的幀往往會大于1500字節的.所以就要進行拆包. 將一個幀拆成多個包進行傳輸.所有的拆包或者組包都是通過NAL層去處理的.

• VCL層:(Video Coding Layer,視頻數據編碼層) 它的作用就是對視頻原始數據進行壓縮.

三.碼流的基本概念

• SODB:(String of Data Bits,原始數據比特流),長度不一定是8的倍數.它是由VCL層產生的.因為非8的倍數所以處理比較麻煩.

• RBSP:(Raw Byte Sequence Payload,SODB+trailing bits).算法是在SODB最后一位補1.不按字節對齊補0. 如果補齊0,不知道在哪里結束.所以補1.如果不夠8位則按位補0.

• EBSP:(Encapsulate Byte Sequence Payload).就是生成壓縮流之后,我們還要在每個幀之前加一個起始位.起始位一般是十六進制的0001.但是在整個編碼后的數據里,可能會出來連續的2個0x00.那這樣就與起始位產生了沖突.那怎么處理了? H264規范里說明如果處理2個連續的0x00,就額外增加一個0x03 .這樣就能預防壓縮后的數據與起始位產生沖突.

每個NAL前有一個起始碼 0x00 00 01（或者0x00 00 00 01），解碼器檢測每個起始碼，作為一個NAL的起始標識，當檢測到下一個起始碼時，當前NAL結束。
同時H.264規定，當檢測到0x00 00 01時，也可以表征當前NAL的結束。那么NAL中數據出現0x000001或0x000000時怎么辦？H.264引入了防止競爭機制，如果編碼器檢測到NAL數據存在0x000001或0x000000時，編碼器會在最后個字節前插入一個新的字節0x03，這樣：
解碼器檢測到0x000003時，把03拋棄，恢復原始數據（脫殼操作）。解碼器在解碼時，首先逐個字節讀取NAL的數據，統計NAL的長度，然后再開始解碼。

• NALU: NAL Header(1B)+EBSP.NALU就是在EBSP的基礎上加1B的網絡頭.

四. 詳解NAL Unit

NAL 單元是由一個NALU頭部+一個切片.切片又可以細分成"切片頭+切片數據".我們之間了解過一個H254的幀是由多個切片構成的.因為一幀數據一次有可能傳不完.

切片與宏塊的關系(Slice & MacroBlock)

每個切片都包括切片頭+切片數據. 那每個切片數據包括了很多宏塊.每個宏塊包括了宏塊的類型,宏塊的預測,殘差數據.

圖解H264切片

在一副壓縮的H264的幀里,可以包含多個切片.至少有一個切換.

H264碼流分層結構圖.

• A Annex格式數據,就是起始碼+Nal Unit 數據
• NAL Unit: NALU 頭+NALU數據
• NALU 主體,是由切片組成.切片包括切片頭+切片數據
• Slice數據: 宏塊組成
• PCM類: 宏塊類型+pcm數據,或者宏塊類型+宏塊模式+殘差數據
• Residual: 殘差塊.

這個圖比較重要.大家可以多看看.

推薦文集

* 抖音效果實現

* BAT—最新iOS面試題總結

* iOS面試題合集

原文作者：集才華美貌于一身的—C姐