最簡(jiǎn)單的iOS 推流代碼，視頻捕獲，軟編碼(faac，x264)，硬編碼（aac，h264），美顏，flv編碼，rtmp協(xié)議，陸續(xù)更新代碼解析，你想學(xué)的知識(shí)這里都有，愿意懂直播技術(shù)的同學(xué)快來(lái)看！！

源代碼：https://github.com/hardman/AWLive

前文介紹了如何獲取音視頻的aac/h264數(shù)據(jù)，那么如何將數(shù)據(jù)寫入rtmp流中呢？
rtmp最初是Adobe Flash用于音視頻播放的一個(gè)實(shí)時(shí)傳輸協(xié)議。而flv正是Adobe推出的一個(gè)視頻格式，因此rtmp協(xié)議支持flv視頻流。
這里可以我們把獲取的aac/h264的數(shù)據(jù)，直接轉(zhuǎn)成flv格式的視頻幀，然后按照時(shí)間戳依次發(fā)送給服務(wù)端即可。

flv格式簡(jiǎn)介

flv總體來(lái)說(shuō)是一個(gè)簡(jiǎn)單的視頻格式，它包含2部分：header 和 body。

header是固定格式的數(shù)據(jù)，表示本文件是一個(gè)flv文件。
header的長(zhǎng)度是9個(gè)字節(jié)。

header后面緊跟著body數(shù)據(jù)。body是由一個(gè)一個(gè)稱為的tag數(shù)據(jù)組成。
tag其實(shí)就是一個(gè)固定格式的數(shù)據(jù)塊，構(gòu)造方式同header類似，只是叫法不同而已。

tag分為3種。script tag，video tag，audio tag。
script tag是flv的第一個(gè)tag，用于放一些視頻信息的，比如duration，width，height等。script tag對(duì)于flv格式的視頻文件比較重要，對(duì)于rtmp來(lái)說(shuō)，可以不寫入script tag。
video tag是視頻數(shù)據(jù)的封裝，也就是我們獲取的h264數(shù)據(jù)基礎(chǔ)之上，增加一些flv特定的數(shù)據(jù)。
audio tag同video tag類似，是acc數(shù)據(jù)的封裝。

代碼解析

flv相關(guān)代碼在 aw_encode_flv.h和aw_encode_flv.c中。
此模塊提供了flv編碼(aac+h264)功能。

這個(gè)模塊的暴露給外部的api為2部分：

//一部分是創(chuàng)建flv的方法
//寫入header
extern void aw_write_flv_header(aw_data **flv_data);
//寫入flv tag
extern void aw_write_flv_tag(aw_data **flv_data, aw_flv_common_tag *common_tag);

//第二部分是所有tag的構(gòu)造
//script tag
extern aw_flv_script_tag *alloc_aw_flv_script_tag();
extern void free_aw_flv_script_tag(aw_flv_script_tag **);

//audio tag
extern aw_flv_audio_tag *alloc_aw_flv_audio_tag();
extern void free_aw_flv_audio_tag(aw_flv_audio_tag **);

//video tag
extern aw_flv_video_tag *alloc_aw_flv_video_tag();
extern void free_aw_flv_video_tag(aw_flv_video_tag **);

外部使用時(shí)，可根據(jù)具體數(shù)據(jù)先創(chuàng)建不同的tag，填充好各個(gè)數(shù)據(jù)，然后使用aw_write_flv_tag方法將tag寫入aw_data中。
可用上述方法可以構(gòu)造出完整的flv文件。

aw_data

aw_data是為了方便文件數(shù)據(jù)的讀取/寫入和管理而創(chuàng)建的工具模塊。
此模塊已處理了大端小端差異，能夠讓文件讀寫更加方便快捷。
相關(guān)代碼在aw_data.h / aw_data.c中。

flv header

extern void aw_write_flv_header(aw_data **flv_data){
    uint8_t
    f = 'F', l = 'L', v = 'V',//FLV
    version = 1,//固定值
    av_flag = 5;//5表示av，5表示只有a，1表示只有v
    uint32_t flv_header_len = 9;//header固定長(zhǎng)度為9
    data_writer.write_uint8(flv_data, f);
    data_writer.write_uint8(flv_data, l);
    data_writer.write_uint8(flv_data, v);
    data_writer.write_uint8(flv_data, version);
    data_writer.write_uint8(flv_data, av_flag);
    data_writer.write_uint32(flv_data, flv_header_len);
    
    //first previous tag size 根據(jù)flv協(xié)議，每個(gè)tag后要寫入當(dāng)前tag的size，稱為previous tag size，header后面需要寫入4字節(jié)空數(shù)據(jù)。
    data_writer.write_uint32(flv_data, 0);
}

flv body

注意
如果是要構(gòu)造flv文件，寫入header之后就可以寫入script tag了。
如果是使用rtmp協(xié)議，則無(wú)需構(gòu)造header，也無(wú)需script tag。可直接寫入 video tag和audio tag。
若使用rtmp協(xié)議必須在首幀寫入AVCDecoderConfigurationRecord (包含sps pps數(shù)據(jù))和 AudioSpecificConfig，否則服務(wù)端無(wú)法正常解析音視頻數(shù)據(jù)。

flv的body是由一個(gè)接一個(gè)的tag構(gòu)成的。
一個(gè)flv tag分為3部分：tag header + tag body + tag data size。

extern void aw_write_flv_tag(aw_data **flv_data, aw_flv_common_tag *common_tag){
    //寫入header
    aw_write_tag_header(flv_data, common_tag);
    //寫入body
    aw_write_tag_body(flv_data, common_tag);
    //寫入data size
    aw_write_tag_data_size(flv_data, common_tag);
}

tag header

static void aw_write_tag_header(aw_data **flv_data, aw_flv_common_tag *common_tag){
    //header 長(zhǎng)度為固定11個(gè)字節(jié)
    //寫入tag type，video：9 audio：8 script：18
    data_writer.write_uint8(flv_data, common_tag->tag_type);
    //寫入body的size(data_size為整個(gè)tag的長(zhǎng)度)
    data_writer.write_uint24(flv_data, common_tag->data_size - 11);
    //寫入時(shí)間戳
    data_writer.write_uint24(flv_data, common_tag->timestamp);
    data_writer.write_uint8(flv_data, common_tag->timestamp_extend);
    //寫入stream id為0
    data_writer.write_uint24(flv_data, common_tag->stream_id);
}

script tag body

static void aw_write_script_tag_body(aw_data **flv_data, aw_flv_script_tag *script_tag){
    //script tag寫入規(guī)則為：類型-內(nèi)容-類型-內(nèi)容...類型-內(nèi)容
    //類型是1個(gè)字節(jié)整數(shù)，可取12種值：
    //    0 = Number type
    //    1 = Boolean type
    //    2 = String type
    //    3 = Object type
    //    4 = MovieClip type
    //    5 = Null type
    //    6 = Undefined type
    //    7 = Reference type
    //    8 = ECMA array type
    //    10 = Strict array type
    //    11 = Date type
    //    12 = Long string type
    // 比如：如果類型是字符串，那么先寫入1個(gè)字節(jié)表類型的2。另，寫入真正的字符串前，需要寫入2個(gè)字節(jié)的字符串長(zhǎng)度。
    // data_writer.write_string能夠在寫入字符串前，先寫入字符串長(zhǎng)度，此函數(shù)第三個(gè)參數(shù)表示用多少字節(jié)來(lái)存儲(chǔ)字符串長(zhǎng)度。
    // script tag 的結(jié)構(gòu)基本上是固定的，首先寫入一個(gè)字符串: onMetaData，然后寫入一個(gè)數(shù)組。
    // 寫入數(shù)組需要先寫入數(shù)組編號(hào)1字節(jié)：8，然后寫入數(shù)組長(zhǎng)度4字節(jié)：11。
    // 數(shù)組同OC的Dictionary類似，可寫入一個(gè)字符串+一個(gè)value。
    // 所以每個(gè)數(shù)組元素可先寫入一個(gè)字符串，然后寫入一個(gè)Number Type，再寫入具體的數(shù)值。
    // 結(jié)束時(shí)需寫入3個(gè)字節(jié)的0x000009表示數(shù)組結(jié)束。
    // 下面代碼中的duration/width/filesize均遵循此規(guī)則。

    //2表示類型，字符串
    data_writer.write_uint8(flv_data, 2);
    data_writer.write_string(flv_data, "onMetaData", 2);
    
    //數(shù)組類型：8
    data_writer.write_uint8(flv_data, 8);
    //數(shù)組長(zhǎng)度：11
    data_writer.write_uint32(flv_data, 11);
    
    //寫入duration 0表示double，1表示uint8
    data_writer.write_string(flv_data, "duration", 2);
    data_writer.write_uint8(flv_data, 0);
    data_writer.write_double(flv_data, script_tag->duration);
    //寫入width
    data_writer.write_string(flv_data, "width", 2);
    data_writer.write_uint8(flv_data, 0);
    data_writer.write_double(flv_data, script_tag->width);
    ...
    ...
    ...
    //寫入file_size
    data_writer.write_string(flv_data, "filesize", 2);
    data_writer.write_uint8(flv_data, 0);
    data_writer.write_double(flv_data, script_tag->file_size);
    
    //3字節(jié)的0x9表示數(shù)組結(jié)束
    data_writer.write_uint24(flv_data, 9);
}

video tag body

static void aw_write_video_tag_body(aw_data **flv_data, aw_flv_video_tag *video_tag){
    // video tag body 結(jié)構(gòu)是這樣的：
    // frame_type(4bit) + codec_id(4bit) + h264_package_type(8bit) + h264_composition_time(24bit) + video_tag_data(many bits)
    // frame_type 表示是否關(guān)鍵幀，關(guān)鍵幀為1，非關(guān)鍵幀為2（當(dāng)然還有更多取值，請(qǐng)參考[flv協(xié)議](https://wuyuans.com/img/2012/08/video_file_format_spec_v10.rar)
    // codec_id 表示視頻協(xié)議：h264是7 h263是2。
    // h264_package_type表示視頻幀數(shù)據(jù)的類型，2種取值：sequence header（也就是前面說(shuō)的 sps pps 數(shù)據(jù)，rtmp要求首幀發(fā)送此數(shù)據(jù)，也稱為AVCDecoderConfigurationRecord），另一種為nalu，正常的h264視頻幀。
    // h264_compsition_time：cts是pts與dts的差值，flv中的timestamp表示的應(yīng)該是pts。如果h264數(shù)據(jù)中不包含B幀，那么此數(shù)據(jù)可傳0。
    // video_tag_data 即純264數(shù)據(jù)。

    uint8_t video_header = 0;
    video_header |= video_tag->frame_type << 4 & 0xf0;
    video_header |= video_tag->codec_id;
    data_writer.write_uint8(flv_data, video_header);
    
    if (video_tag->codec_id == aw_flv_v_codec_id_H264) {
        data_writer.write_uint8(flv_data, video_tag->h264_package_type);
        data_writer.write_uint24(flv_data, video_tag->h264_composition_time);
    }
    
    switch (video_tag->h264_package_type) {
        case aw_flv_v_h264_packet_type_seq_header: {
            data_writer.write_bytes(flv_data, video_tag->config_record_data->data, video_tag->config_record_data->size);
            break;
        }
        case aw_flv_v_h264_packet_type_nalu: {
            data_writer.write_bytes(flv_data, video_tag->frame_data->data, video_tag->frame_data->size);
            break;
        }
        case aw_flv_v_h264_packet_type_end_of_seq: {
            //nothing
            break;
        }
    }
}

audio tag body

static void aw_write_audio_tag_body(aw_data **flv_data, aw_flv_audio_tag *audio_tag){
    // audio tag body的結(jié)構(gòu)是這樣的：
    // sound_format(4bit) + sound_rate(sample_rate)(2bit) + sound_size(sample_size)(1bit) + sound_type(1bit) + aac_packet_type(8bit) + aac_data(many bits)
    // sound_format 表示聲音格式，2表示mp3，10表示aac，一般是aac
    // sound_rate 采樣率，表示1秒鐘采集多少個(gè)樣本，可選4個(gè)值，0表示5.5kHZ，1表示11kHZ，2表示22kHZ，3表示44kHZ，一般是3。
    // sound_size 采樣尺寸，單個(gè)樣本的size。2個(gè)選擇，0表示8bit，1表示16bit。
    // 直觀上看，采樣率和采樣尺寸應(yīng)該和質(zhì)量有一定關(guān)系。采樣率高，采樣尺寸大效果應(yīng)該會(huì)好，但是生成的數(shù)據(jù)量也大。
    // sound_type 表示聲音類型，0表示單聲道，1表示立體聲。(立體聲有2條聲道)。
    // aac_packet_type表示aac數(shù)據(jù)類型，有2種選擇：0表示sequence header，即 必須首幀發(fā)送的數(shù)據(jù)(AudioSpecificConfig)，1表示正常的aac數(shù)據(jù)。

    uint8_t audio_header = 0;
    audio_header |= audio_tag->sound_format << 4 & 0xf0;
    audio_header |= audio_tag->sound_rate << 2 & 0xc;
    audio_header |= audio_tag->sound_size << 1 & 0x2;
    audio_header |= audio_tag->sound_type & 0x1;
    data_writer.write_uint8(flv_data, audio_header);
    
    if (audio_tag->sound_format == aw_flv_a_codec_id_AAC) {
        data_writer.write_uint8(flv_data, audio_tag->aac_packet_type);
    }
    switch (audio_tag->aac_packet_type) {
        case aw_flv_a_aac_package_type_aac_sequence_header: {
            data_writer.write_bytes(flv_data, audio_tag->config_record_data->data, audio_tag->config_record_data->size);
            break;
        }
        case aw_flv_a_aac_package_type_aac_raw: {
            data_writer.write_bytes(flv_data, audio_tag->frame_data->data, audio_tag->frame_data->size);
            break;
        }
    }
}

tag data size

根據(jù)flv協(xié)議，每個(gè)flv tag結(jié)束時(shí)，需要寫入此tag的全部長(zhǎng)度：header+body的長(zhǎng)度，header長(zhǎng)度固定為11字節(jié)，而body的長(zhǎng)度可通過(guò)上面構(gòu)造body時(shí)寫入的數(shù)據(jù)進(jìn)行計(jì)算。

static void aw_write_tag_data_size(aw_data **flv_data, aw_flv_common_tag *common_tag){
    data_writer.write_uint32(flv_data, common_tag->data_size);
}

上面的data_size由外部使用此模塊的函數(shù)，在創(chuàng)建tag時(shí)計(jì)算出來(lái)的。
可以看aw_sw_faac_encoder.c中的aw_encoder_create_audio_tag方法：

extern aw_flv_audio_tag *aw_encoder_create_audio_tag(int8_t *aac_data, long len, uint32_t timeStamp, aw_faac_config *faac_cfg){
    aw_flv_audio_tag *audio_tag = aw_sw_encoder_create_flv_audio_tag(faac_cfg);
    ...
    ...
    //此處計(jì)算的data_size長(zhǎng)度為 11(tag header size) + body header size(即下面的header_size，表示body中除去aac data的部分) + aac data size
    audio_tag->common_tag.data_size = audio_tag->frame_data->size + 11 + audio_tag->common_tag.header_size;
    return audio_tag;
}

這是本項(xiàng)目的處理方式。當(dāng)然data size也可以在寫入header和body時(shí)，同步計(jì)算出來(lái)。

flv時(shí)間戳

flv的tag中有2個(gè)字段表示時(shí)間戳，一個(gè)是 timestamp(pts)，一個(gè)是Composition Time(cts)。
pts表示展示時(shí)間戳，表示這一幀什么時(shí)候展示。
說(shuō)cts之前有必要介紹一下dts，dts表示解碼時(shí)間戳。
我們知道h264中有3種視頻幀，I幀，P幀，B幀。
I和P幀不必說(shuō)。
因?yàn)锽幀的存在，可能會(huì)令后面的視頻幀先于前面的視頻幀解析，這樣就需要在視頻幀信息中保存dts。
flv中的cts可以做這件事情，cts = pts - dts。

另一個(gè)問(wèn)題是，rtmp中的flv時(shí)間戳有一個(gè)規(guī)則就是，音頻+視頻幀須按照pts遞增順序發(fā)送。
因?yàn)橐纛l和視頻有各自的幀率，每個(gè)音視頻幀可計(jì)算出各自的時(shí)間戳。
由于音頻和視頻在不同的線程中編碼，編碼后的音視頻會(huì)合并到相同的線程中發(fā)送。
因?yàn)榫幋a速度等各種原因，編碼后的數(shù)據(jù)合并到相同線程時(shí)，可能并不是按照時(shí)間戳升序排列的。

為了保證排序，有2種辦法解決此問(wèn)題:

將數(shù)據(jù)緩存起來(lái)，每次發(fā)送前都保證發(fā)送的是最早的數(shù)據(jù)幀。
以音頻（或視頻）為主，一旦遇到視頻（或音頻）幀時(shí)間戳小于已經(jīng)發(fā)送的時(shí)間戳，則調(diào)整視頻（或音頻）幀時(shí)間戳。

推流時(shí)保存發(fā)送的flv文件

根據(jù)本文介紹，我們可以把發(fā)送到rtmp服務(wù)器的數(shù)據(jù)保存到本地flv文件。
可以修改aw_streamer.c文件。

當(dāng)調(diào)用aw_streamer_open_rtmp_context時(shí)創(chuàng)建aw_data，并寫入flv header和flv script tag。
調(diào)用aw_streamer_send_video_data和aw_streamer_send_audio_data時(shí)，將video tag和audio tag寫入aw_data中。
當(dāng)調(diào)用aw_streamer_close_rtmp_context時(shí)，將aw_data寫入到本地文件，保存成flv格式，然后釋放aw_data。

至此，flv編碼介紹完畢。

三个男躁一个女,国精产品一区一手机的秘密,麦子交换系列最经典十句话,欧美国产综合欧美视频

1小時(shí)學(xué)會(huì)：最簡(jiǎn)單的iOS直播推流（九）flv 編碼與音視頻時(shí)間戳同步

1小時(shí)學(xué)會(huì)：最簡(jiǎn)單的iOS直播推流（九）flv 編碼與音視頻時(shí)間戳同步

flv格式簡(jiǎn)介

代碼解析

aw_data

flv header

flv body

tag header

script tag body

video tag body

audio tag body

tag data size

flv時(shí)間戳

推流時(shí)保存發(fā)送的flv文件

文章列表

推薦閱讀更多精彩內(nèi)容

三个男躁一个女,国精产品一区一手机的秘密,麦子交换系列最经典十句话,欧美 国产 综合 欧美 视频

1小時(shí)學(xué)會(huì)：最簡(jiǎn)單的iOS直播推流（九）flv 編碼與音視頻時(shí)間戳同步

flv格式簡(jiǎn)介

代碼解析

aw_data

flv header

flv body

tag header

script tag body

video tag body

audio tag body

tag data size

flv時(shí)間戳

推流時(shí)保存發(fā)送的flv文件

文章列表

推薦閱讀更多精彩內(nèi)容

三个男躁一个女,国精产品一区一手机的秘密,麦子交换系列最经典十句话,欧美国产综合欧美视频