1. mp4 Box

使用mp4info工具查看mp4文件的格式，如下圖：

• mp4文件是由box組成。有兩類box，leaf box和container box。container box可以包含子box，而leaf box不能。有了container box，mp4文件的信息就可以分層次組成樹形結構了。container box的例子如moov，trak等，leaf box的例子如ftyp，mvhd等。
• 所有的box都有兩個屬性：大小和類型。類型是一個剛好為長度為4字節的字符組，前面提到的”moov”, “trak”, “ftyp”就是類型。
• 各個box的內容已經列在上圖中了，值得再提的是：
  • ftyp用于確定這是一個mp4文件，mp4 demuxer用于解析它。
  • stsd保存sample類型信息。它的數據格式字段用來確定decoder。
  • H.264解碼前必須先確定一些解碼參數，如SPS, PPS。這些參數保存在stsd下的avcC中。
• Sample是成組保存在chunk中的，stsc保存了chunk與sample的對應關系。另外，stco保存了chunk在文件中的偏移位置（實際上在mdat box中），stsz保存了sample的大小。結合這三者就可以找到任意一個sample的位置了。
• Stts按順序保存了sample的duration，有了它可以找到對應某個時間點的sample。
• 在調整播放位置時，必須從關鍵幀開始解碼。stss保存了關鍵幀的sample。
• mdat保存了真正的數據，stco中chunk的偏移位置就指向這里。

2. demuxer

• demux中在read_thread()中進行。由avformat_open_input()負責。
• init_input()負責找到與文件對應的demuxer。mp4 demuxer的檢查標準為：文件包括ftyp box，并且它的major_brand字段是mp4格式之一。
• 確定demuxer后，調用它的read_header()函數做demux。對于mp4 demuxer是mov_read_header()。
• mov_read_header()遍歷前面圖中的box樹，找出stream的信息。這是一個stream列表，但這里的文件只包含一個stream。
• 全局表mov_default_parse_table[]保存了從box類型到其解析函數的映射。leaf box有自己特殊的解析函數，所有的container box都映射到mov_read_default()。
• mov_read_header()迭代調用mov_read_default()，以遍歷box樹，得到stream信息。但它不讀取sample的真正數據，這要等到decode時才需要。

3. decoder

在avformat_find_stream_info()中，decode一個frame以得到更多信息。

• 調用find_probe_decoder()確定decoder。
• 調用avcodec_open2()和h264_decode_init()，初始化decoder。
• 調用read_frame_internal()讀取下一個packet。這會調用demuxer的read_packet()，對mp4 demuxer實際上是mov_read_packet()。這時會從文件的mdat box讀取sample真正的數據。
• 得到packet后，調用try_decode_frame()來解碼。
  • 在avcodec_send_packet()中，av_bsf_send_packet()將packet送入第一個內部結構AVBSFContext.AVBSFInternal.buffer_packet（AvCodecContext的一部分）保存。decode_recieve_frame_internal()先調用ff_decode_get_packet()從第一個結構buffer_packet中取出packet，然后調用h264_decode_frame()解碼，解碼后的frame保存在第二個內部結構AVCodecContext.AVCodecInternal.buffer_frame中。
  • 在avcodec_receive_frame()中，av_frame_mov_ref()從第二個結構buffer_frame中取出frame返回。如果沒有解碼好的frame，會先調用decode_receive_frame_internal()解碼。

4. demux 和 decode

• 首先read_thread調用stream_component_open()，啟動新的video_thread。從此進入工作狀態。下面的幾個關鍵函數在前面已經出現過了。
• read_thread
  • av_read_frame()中，調用read_from_packet_buffer()讀packet。如果沒有，則先調用read_frame_internal()預讀。
  • packet_queue_put()將packet寫入packet queue。
• video_thread
  • decoder_decode_frame()先調用packet_queue_get()從packet queue取出packet。
  • 再調用avcodec_send_packet()和avcodec_receive_frame()解碼得到frame。
  • 調用queue_picture將Frame放入frame queue。

相關鏈接

FFMPEG 3.4.2 - ffmpeg源代碼分析 （一）
FFMPEG 3.4.2 - ffmpeg源代碼分析 （二）
FFMPEG 3.4.2 - ffmpeg源代碼分析 （三）
FFMPEG 3.4.2 - ffmpeg源代碼分析 （四）- x264
FFMPEG 3.4.2 - ffplay源代碼分析 （一）
FFMPEG 3.4.2 - ffplay源代碼分析 （二）
FFMPEG 3.4.2 - ffplay源代碼分析 （三）

參考資料

mp4文件格式解析
http://www.360doc.com/content/13/0130/09/6979751_263177149.shtml
http://www.360doc.com/content/13/0130/09/6979751_263177149.shtml

mp4文件格式系列
http://www.52rd.com/Blog/wqyuwss/559/

H.264 碼流結構解析
http://blog.csdn.net/zqj6893/article/details/17591413

H264—MP4格式及在MP4文件中提取H264的SPS、PPS及碼流
http://www.cnblogs.com/skyseraph/archive/2012/04/01/2429384.html