目錄
- 參考
- 簡介
- Bitstream Filter API介紹
- 示例
1. 參考
- [1] ffmpeg.org/ffmpeg-bitstream-filters.html
- [2] Luca Barbato/Bitstream Filtering
- [3] YellowLayne/ffmpeg 添加 sps pps
- [4] 雷霄驊/使用FFMPEG類庫分離出多媒體文件中的H.264碼流
2. 簡介
H.264碼流分Annex-B和AVCC兩種格式。
- AVCC以長度信息分割NALU，在mp4和flv等封裝格式中使用。
- Annex-B以start code(0x000001或0x00000001)分割NALU，在mpegts流媒體文件中使用。
很多場景需要進行這兩種格式之間的轉換，FFmpeg提供了名稱為h264_mp4toannexb 的Bitstream Filter(bsf)來實現這個功能。例如，將AVCC格式的H.264流的轉換為Annex-B格式，可以使用以下命令[1]：
ffmpeg -i INPUT.mp4 -codec copy -bsf:v h264_mp4toannexb OUTPUT.ts
- 注意，使用ffmpeg時如果指定輸出格式為mpegts或h264，會自動加入這個filter。
Bitstream Filter
- Bitstream Filter的主要目的是對數據進行格式轉換，使它能夠被解碼器處理（比如HEVC QSV的解碼器）。
- Bitstream Filter對已編碼的碼流進行操作，不涉及解碼過程。
- 使用
ffmpeg -bsfs命令可以查看ffmpeg工具支持的Bitstream Filter類型。 - 使用ff*工具的
-bsf選項來指定對具體流的Bitstream Filter，使用逗號分隔的多個filter，如果filter有參數，參數名和參數值跟在filter名稱后面，如下面的形式。
ffmpeg -i INPUT -c:v copy -bsf:v filter1[=opt1=str1:opt2=str2][,filter2] OUTPUT
3. Bitstream Filter API介紹
// Query
const AVBitStreamFilter *av_bsf_next(void **opaque);
const AVBitStreamFilter *av_bsf_get_by_name(const char *name);
// Setup
int av_bsf_alloc(const AVBitStreamFilter *filter, AVBSFContext **ctx);
int av_bsf_init(AVBSFContext *ctx);
// Usage
int av_bsf_send_packet(AVBSFContext *ctx, AVPacket *pkt);
int av_bsf_receive_packet(AVBSFContext *ctx, AVPacket *pkt);
// Cleanup
void av_bsf_free(AVBSFContext **ctx);
bsf的使用方法：
- 使用查詢函數
av_bsf_get_by_name根據名稱查找對應的AVBitStreamFilter。 - 使用av_bsf_alloc為AVBSFContext和它的一些內部變量分配內存。
- 設置AVBSFContext可能需要使用一些編解碼參數和time_base[2]。
- 在設置好參數之后使用av_bsf_init來初始化bsf。
- 使用av_bsf_send_packet函數輸入數據，并使用av_bsf_receive_packet獲得處理后的輸出數據。
- 處理結束后，av_bsf_free清理用于上下文和內部緩沖區的內存。
4. 示例
參照[4]，來完成從多媒體文件比如mp4或者ts中分離出H.264的碼流的工作。
- 在分離ts碼流的時候，直接存儲AVPacket即可。
- 對于mp4中解封裝出來的AVPacket需要經過h264_mp4toannexb"的bitstream filter的處理。
- ffmpeg中定義的H.264的封裝格式是annexb格式的。
[4]中使用的AVBitStreamFilterContext現在已經廢棄了，下面是使用新的Bitstream Filter API來完成的h264_mp4toannexb工作。
#include <stdio.h>
#include <libavformat/avformat.h>
#include <libavcodec/avcodec.h>
char *app_name = NULL;
void usage() {
fprintf(stdout, "usage:%s <input> <output>\n", app_name);
exit(1);
}
int open_input(AVFormatContext **ctx, char *in_filename) {
int ret = 0;
if ((ret = avformat_open_input(ctx, in_filename, NULL, NULL)) < 0) {
fprintf(stderr, "fail to open input %s\n", in_filename);
return ret;
}
if ((ret = avformat_find_stream_info(*ctx, NULL)) < 0) {
fprintf(stderr, "find stream info failed\n");
return ret;
}
}
int open_output(FILE **file, char *out_filename) {
int ret = 0;
*file = fopen(out_filename, "w+b");
if (*file == NULL) {
ret = -1;
fprintf(stderr, "failed to open output %s\n",out_filename);
return ret;
}
}
int write_output(FILE *of, AVPacket *pkt) {
if (pkt->size > 0) {
int size = fwrite(pkt->data, 1, pkt->size, of);
if (size <= 0) {
fprintf(stderr, "fwrite failed\n");
return -1;
} else {
fprintf(stdout, "write packet, size=%d\n", size);
}
}
return 0;
}
int open_bitstream_filter(AVStream *stream, AVBSFContext **bsf_ctx, const char *name) {
int ret = 0;
const AVBitStreamFilter *filter = av_bsf_get_by_name(name);
if (!filter) {
ret = -1;
fprintf(stderr, "Unknow bitstream filter.\n");
}
if((ret = av_bsf_alloc(filter, bsf_ctx) < 0)) {
fprintf(stderr, "av_bsf_alloc failed\n");
return ret;
}
if ((ret = avcodec_parameters_copy((*bsf_ctx)->par_in, stream->codecpar)) < 0) {
fprintf(stderr, "avcodec_parameters_copy failed, ret=%d\n", ret);
return ret;
}
if ((ret = av_bsf_init(*bsf_ctx)) < 0) {
fprintf(stderr, "av_bsf_init failed, ret=%d\n", ret);
return ret;
}
return ret;
}
int filter_stream(AVBSFContext *bsf_ctx, AVPacket *pkt, FILE *of, int eof) {
int ret = 0;
if (ret = av_bsf_send_packet(bsf_ctx, eof ? NULL : pkt) < 0) {
fprintf(stderr, "av_bsf_send_packet failed, ret=%d\n", ret);
return ret;
}
while ((ret = av_bsf_receive_packet(bsf_ctx, pkt) == 0)) {
ret = write_output(of, pkt);
av_packet_unref(pkt);
if (ret < 0) return ret;
}
if (ret == AVERROR(EAGAIN)) return 0;
return ret;
}
int main(int argc, char **argv) {
app_name = argv[0];
if (argc < 3) {
usage();
}
char *in_filename = argv[1];
char *out_filename = argv[2];
AVFormatContext *ifmt_ctx;
AVBSFContext *bsf_ctx;
FILE *of;
int ret = 0;
int video_stream_index = -1;
int is_annexb = 1;
if ((ret = open_input(&ifmt_ctx, in_filename)) < 0) {
fprintf(stderr, "open_input failed, ret=%d\n", ret);
goto end;
}
if ((ret = open_output(&of, out_filename)) < 0) {
fprintf(stderr, "open_output failed, ret=%d\n", ret);
goto end;
}
AVPacket *pkt = av_packet_alloc();
if (!pkt) {
fprintf(stderr, "alloc packet failed\n");
goto end;
}
for (int i = 0; i < ifmt_ctx->nb_streams; i++) {
if (ifmt_ctx->streams[i]->codecpar->codec_type == AVMEDIA_TYPE_VIDEO) {
video_stream_index = i;
is_annexb = strcmp(av_fourcc2str(ifmt_ctx->streams[i]->codecpar->codec_tag), "avc1") == 0 ? 0 : 1;
break;
}
}
if (video_stream_index == -1) {
fprintf(stderr, "no video stream found.\n");
goto end;
}
fprintf(stdout, "is_annexb=%d\n", is_annexb);
if (!is_annexb) {
if (ret = open_bitstream_filter(ifmt_ctx->streams[video_stream_index], &bsf_ctx, "h264_mp4toannexb") < 0) {
fprintf(stderr, "open_bitstream_filter failed, ret=%d\n", ret);
goto end;
}
}
while (av_read_frame(ifmt_ctx, pkt) >= 0) {
if (pkt->stream_index == video_stream_index) {
if (is_annexb) {
ret = write_output(of, pkt);
} else {
ret = filter_stream(bsf_ctx, pkt, of, 0);
}
if (ret < 0) goto end;
} else {
fprintf(stdout, "read a packet, not a video frame\n");
}
av_packet_unref(pkt);
}
if (!is_annexb) {//flush bistream filter
filter_stream(bsf_ctx, NULL, of, 1);
}
end:
if (pkt)
av_packet_free(&pkt);
if (ifmt_ctx)
avformat_close_input(&ifmt_ctx);
if (bsf_ctx)
av_bsf_free(&bsf_ctx);
if (of)
fclose(of);
fprintf(stdout, "convert finished, ret=%d\n", ret);
return 0;
}
