前言
個人認為要想把直播從零開始做出來，絕對是牛逼中的牛逼，大牛中的大牛，因為直播中運用到的技術(shù)難點非常之多，視頻/音頻處理，圖形處理，視頻/音頻壓縮，CDN分發(fā)，即時通訊等技術(shù)，每一個技術(shù)都夠?qū)W幾年的。
如果你有更好的建議或者對這篇文章有不滿的地方, 請聯(lián)系我, 我會進行修改,
聯(lián)系我時，請備注iOS直播類APP開發(fā)流程解析（技術(shù)交流群：656315826）
最后:
祝大家學(xué)習(xí)愉快~謝謝~
一個完整直播APP原理
把主播錄制的視頻，推送到服務(wù)器，在由服務(wù)器分發(fā)給觀眾觀看。
推流端（采集、美顏處理、編碼、推流）、服務(wù)端處理（轉(zhuǎn)碼、錄制、截圖、鑒黃）、播放器（拉流、解碼、渲染）、互動系統(tǒng)（聊天室、禮物系統(tǒng)、贊）
一個完整直播APP實現(xiàn)流程
1.采集視頻、音頻
- AVFoundation:是用來播放和創(chuàng)建實時的視聽媒體數(shù)據(jù)的框架，同時提供Objective-C接口來操作這些視聽數(shù)據(jù)，比如編輯，旋轉(zhuǎn)，重編碼
- CCD:圖像傳感器： 用于圖像采集和處理的過程，把圖像轉(zhuǎn)換成電信號。
- 拾音器:聲音傳感器： 用于聲音采集和處理的過程，把聲音轉(zhuǎn)換成電信號。
- 音頻采樣數(shù)據(jù):一般都是PCM格式
- 視頻采樣數(shù)據(jù): 一般都是YUV,或RGB格式，采集到的原始音視頻的體積是非常大的，需要經(jīng)過壓縮技術(shù)處理來提高傳輸效率
2.視頻處理（美顏，水印）
- 視頻處理原理:因為視頻最終也是通過GPU，一幀一幀渲染到屏幕上的，所以我們可以利用OpenGL ES，對視頻幀進行各種加工，從而視頻各種不同的效果，就好像一個水龍頭流出的水，經(jīng)過若干節(jié)管道，然后流向不同的目標。
現(xiàn)在的各種美顏和視頻添加特效的app都是利用GPUImage這個框架實現(xiàn)的。
視頻處理的框架
- GPUImage : GPUImage是一個基于OpenGL ES的一個強大的圖像/視頻處理框架,封裝好了各種濾鏡同時也可以編寫自定義的濾鏡,其本身內(nèi)置了多達120多種常見的濾鏡效果。
- OpenGL:OpenGL（全寫Open Graphics Library）是個定義了一個跨編程語言、跨平臺的編程接口的規(guī)格，它用于三維圖象（二維的亦可）。OpenGL是個專業(yè)的圖形程序接口，是一個功能強大，調(diào)用方便的底層圖形庫。
- OpenGL ES:OpenGL ES (OpenGL for Embedded Systems) 是 OpenGL三維圖形 API 的子集，針對手機、PDA和游戲主機等嵌入式設(shè)備而設(shè)計。
3.音視頻編碼解碼
視頻壓縮編碼標準：對視頻進行壓縮(視頻編碼)或者解壓縮（視頻解碼）的編碼技術(shù),比如MPEG，H.264,這些視頻編碼技術(shù)是壓縮編碼視頻的
- MPEG:一種視頻壓縮方式，它采用了幀間壓縮，僅存儲連續(xù)幀之間有差別的地方 ，從而達到較大的壓縮比
- H.264/AVC:一種視頻壓縮方式,采用事先預(yù)測和與MPEG中的P-B幀一樣的幀預(yù)測方法壓縮，它可以根據(jù)需要產(chǎn)生適合網(wǎng)絡(luò)情況傳輸?shù)囊曨l流,還有更高的壓縮比，有更好的圖象質(zhì)量
- H.265/HEVC:一種視頻壓縮方式,基于H.264，保留原來的某些技術(shù)，同時對一些相關(guān)的技術(shù)加以改進，以改善碼流、編碼質(zhì)量、延時和算法復(fù)雜度之間的關(guān)系，達到最優(yōu)化設(shè)置。
音頻編碼技術(shù)
AAC，mp3：這些屬于音頻編碼技術(shù),壓縮音頻用
碼率控制
多碼率:觀眾所處的網(wǎng)絡(luò)情況是非常復(fù)雜的，有可能是WiFi，有可能4G、3G、甚至2G，那么怎么滿足多方需求呢？多搞幾條線路，根據(jù)當(dāng)前網(wǎng)絡(luò)環(huán)境自定義碼率。
視頻封裝格式
- TS : 一種流媒體封裝格式，流媒體封裝有一個好處，就是不需要加載索引再播放，大大減少了首次載入的延遲，如果片子比較長，mp4文件的索引相當(dāng)大，影響用戶體驗
- FLV: 一種流媒體封裝格式,由于它形成的文件極小、加載速度極快，使得網(wǎng)絡(luò)觀看視頻文件成為可能,因此FLV格式成為了當(dāng)今主流視頻格式
4.推流
推流，就是將采集到的音頻，視頻數(shù)據(jù)通過流媒體協(xié)議發(fā)送到流媒體服務(wù)器。
- 選擇流媒體協(xié)議
現(xiàn)在直播應(yīng)用，采用RTMP協(xié)議居多，也有部分使用HLS協(xié)議。
采用RTMP協(xié)議，就要看下它與流媒體服務(wù)器交互的過程，RTMP協(xié)議的默認端口是1935，采用TCP協(xié)議。并且需要了解FLV的封裝格式。
采用HLS協(xié)議，因為涉及到切片，延時會比較大，需要了解TS流。 - 采集音視頻數(shù)據(jù)
做直播，數(shù)據(jù)的來源不可缺少，就是采集攝像頭，麥克風(fēng)的數(shù)據(jù)。
iOS平臺上采集音視頻數(shù)據(jù)，需要使用AVFoundation.Framework框架，從captureSession會話的回調(diào)中獲取音頻，視頻數(shù)據(jù)。
5.流媒體服務(wù)器
常用服務(wù)器
- SRS：一款國人開發(fā)的優(yōu)秀開源流媒體服務(wù)器系統(tǒng)
- BMS:也是一款流媒體服務(wù)器系統(tǒng)，但不開源，是SRS的商業(yè)版，比SRS功能更多
- nginx:免費開源web服務(wù)器，常用來配置流媒體服務(wù)器
6.拉流
直播協(xié)議選擇:
- 即時性要求較高或有互動需求的可以采用RTMP,RTSP
- 對于有回放或跨平臺需求的，推薦使用HLS
HLS:由Apple公司定義的用于實時流傳輸?shù)膮f(xié)議,HLS基于HTTP協(xié)議實現(xiàn)，傳輸內(nèi)容包括兩部分，一是M3U8描述文件，二是TS媒體文件。可實現(xiàn)流媒體的直播和點播，主要應(yīng)用在iOS系統(tǒng)
7.解碼
使用相關(guān)硬件或軟件對接收到的編碼后的音視頻數(shù)據(jù)進行解碼，得到可以直接顯示的圖像/聲音
涉及技術(shù)或協(xié)議：
一般對應(yīng)的編碼器都會帶有相應(yīng)的解碼器，也有一些第三方解碼插件等
8.播放
ijkplayer:一個基于FFmpeg的開源Android/iOS視頻播放器
- API易于集成；
- 編譯配置可裁剪，方便控制安裝包大小；
- 支持硬件加速解碼，更加省電
- 簡單易用，指定拉流URL，自動解碼播放.
9.聊天互動
- IM:(InstantMessaging)即時通訊:是一個實時通信系統(tǒng)，允許兩人或多人使用網(wǎng)絡(luò)實時的傳遞文字消息、文件、語音與視頻交流.
- IM在直播系統(tǒng)中的主要作用是實現(xiàn)觀眾與主播、觀眾與觀眾之間的文字互動.
第三方SDK
騰訊云：騰訊提供的即時通訊SDK，可作為直播的聊天室
融云：一個比較常用的即時通訊SDK，可作為直播的聊天室
項目代碼獲取
想要獲取案例源碼可以加我技術(shù)交流群：656315826 最近我在研究這一塊,如果你有更好的建議或者對這篇文章有不滿的地方, 請聯(lián)系我, 我會進行修改，共同學(xué)習(xí)進步。
祝大家學(xué)習(xí)愉快
