章節
- 視頻播放器原理
- 什么是 ffmpeg?
- ffmpeg 音視頻編/解碼 流程圖
- ffmpeg 常用 struct
- AVFormatContext
- AVStream
- AVCodecContext
- AVCodec
- AVPacket
- AVFrame
- ffmpeg 常用Api
- av_register_all()
- avformat_alloc_output_context2()
- avio_open()
- av_new_stream()
- avcodec_find_encoder()
- avcodec_open2()
- avformat_write_header()
- avcodec_encode_video2()
- av_write_frame()
- flush_encoder()
- av_write_trailer()
- ffmpeg編碼視頻的流程圖
- ffmpeg解碼視頻的流程圖
- 分享-解決問題的思路
0.視頻播放器原理
編碼
錄像(視頻)、錄音(音頻)，實質上是一個壓縮采集到的圖像或者音頻數據的過程，這個過程又稱為編碼。那為什么需要編碼（壓縮）呢？因為設備采集到的音視頻數據太大了，如果不進行壓縮，占用的空間太大，不利于傳輸等。
解碼
播放視頻或者音頻文件，實質上是一個解壓縮的過程，這個過程又稱為解碼。那為什么又要解碼（解壓縮）呢？因為播放器播放需要的是音頻采樣數據、視頻像素數據，通俗一點來說就是需要的是編碼之前的數據，所以需要解碼來獲取。
如下圖展示了播放器播放視頻的原理：
作者：zhang_pan
鏈接：http://www.lxweimin.com/p/55e5da60faeb
來源：簡書
1.什么是ffmpeg？
1.ffmpeg 是音視頻處理核心技術，要成為音視頻領域的開發高手，不可不學 ffmpeg，一個完整的跨平臺解決方案，用于錄制，轉換和流式傳輸音頻和視頻的技術。
2.騰訊視頻、愛奇藝、阿里影音、均有大量 音視頻開發工程師的需求。
3.ffmpeg 源代碼 采用 c 編寫
2.ffmpeg 音視頻編/解碼 流程圖
如下所示流程圖：
如上圖所示，音視頻文件已流形式經編碼 encode 之后成為 packet，packet 被解碼之后成為視頻幀frame
3.ffmpeg 常用 struct
AVFormatContext
AVFormatContext 主要存儲視音頻封裝格式中包含的信息
AVStream
AVStream 存儲一個視頻/音頻流的相關數據
AVCodecContext
流解碼器容器－每個AVStream對應一個AVCodecContext，存儲該視頻/音頻流使用解碼方式的相關數據、如 codec_type 編碼器類型。
AVCodec
解碼器－每個AVCodecContext中對應一個AVCodec，包含該視頻/音頻對應的解碼器。每種解碼器都對應一個AVCodec結構。
AVPacket
視頻,每個結構一般是存一幀；音頻可能有好幾幀
幀(stream)數據編碼后的數據，或解碼為 幀(stream) 數據前的數據存儲格式為AVPacket
AVFrame
包(Packet)數據解碼之后以幀(frame)的結構存在。
4.ffmpeg 常用Api
av_register_all()
注冊所有 ffmpeg 解碼器， 如果需要使用支持特定類型音視頻解碼的解碼器則需要使用 void av_register_input_format(AVInputFormat *format);
avformat_alloc_output_context2()
初始化輸出碼流的AVFormatContext。
avio_open()
創建并初始化AVIOContext以訪問 url 指示的資源。
av_new_stream()
創建新流，此新流用于添加到新的媒體文件
avcodec_find_encoder()
查找編碼器，一般是用來將數據幀進行編碼，并生成新的輸出文件。
avcodec_open2()
打開編碼器
avformat_write_header()
寫文件頭（對于某些沒有文件頭的封裝格式，不需要此函數。比如說MPEG2TS）。
avcodec_encode_video2()
將 frame 進行編碼，并轉化為 packet 進行存儲
av_write_frame()
Write a packet to an output media file. 將編碼后的視頻碼流寫入文件
flush_encoder()
Write the stream trailer to an output media file and free the file private data。
將流預告片寫入輸出媒體文件并釋放文件私人數據。
其實上述常用Api 是一個視頻流文件進行編碼并輸出編碼后文件常用的Api
ffmpeg編碼視頻的流程圖
如下所示：
ffmpeg解碼視頻的流程圖
4 分享-解決問題的思路
最近接觸 ffmpeg 是因為部門業務需要，之前個人從未接觸過 ffmpeg。
4.1 業務目標
通過調用 ffmpeg Api 實現截取視頻任意一幀。
4.2 出現的問題
1.個人對視頻當中某一幀獲取流程不是很了解；
2.讀源碼過程中 有些 ffmpeg Api 看不懂；
4.3 問題的根本原因
1.對視頻播放的本質不清楚，其實視頻的本質是一幀一幀的圖片拼接起來的結果；
2.沒有耐心讀 ffmpeg 源碼，因為沒學過c ；
3.對未知的從未嘗試過的事情有些許排斥。
4.4 解決問題的方案
1.了解視頻播放原理－知道了解碼、編碼等問題 （完成100%）
2.了解ffmpeg、解碼、編碼(所以解決方案的第一步是前提)、學習編碼/解碼相關流程，(畢竟視頻的生成、播放與編解碼是分不開的)、以及相關Api （完成100%）
3.嘗試讀前輩代碼、并提取實現業務的 keycode、文檔輸出等。（2018-10-23日晚上下班前輸出相關文檔）
