視頻解碼、像素格式轉(zhuǎn)換與Native原生繪制

一、視頻解碼

1、FFmpeg 庫(kù)簡(jiǎn)介

FFmpeg 一共包含8個(gè)庫(kù)

• avcodec：編解碼（最重要的庫(kù)）
• avformat：封裝格式處理
• avfilter：濾鏡特效處理
• avdevice：各自設(shè)備的輸入輸出
• avutil：工具庫(kù)（大部分庫(kù)都需要這個(gè)庫(kù)的支持）
• postproc：后加工
• swresample：音頻采樣數(shù)據(jù)格式轉(zhuǎn)換
• swscale：視頻像素?cái)?shù)據(jù)格式轉(zhuǎn)換

2、FFmpeg 解碼的流程圖

FFmpeg 解碼的流程圖

3、FFmpeg 數(shù)據(jù)格式簡(jiǎn)介

• AVFormatContext：封裝格式上下文結(jié)構(gòu)體，也是統(tǒng)領(lǐng)全局的結(jié)構(gòu)體，保存了視頻文件封裝格式相關(guān)信息
• AVInputFormat：每種封裝格式（例如FLV、MKV、MP4、AVI）對(duì)應(yīng)一個(gè)該結(jié)構(gòu)體。
• AVStream：視頻文件中每個(gè)視頻（音頻）流對(duì)應(yīng)一個(gè)該結(jié)構(gòu)體
• AVCodeContext：編解碼器上下文結(jié)構(gòu)體，保存了視頻（音頻）編解碼相關(guān)信息。
• AVCodec：每種視頻（音頻）編解碼器（例如H.264解碼器）對(duì)應(yīng)一個(gè)該結(jié)構(gòu)體
• AVPacket：存儲(chǔ)一幀壓縮編碼數(shù)據(jù)
• AVFrame：存儲(chǔ)一幀解碼后的像素（采樣）數(shù)據(jù)

二、像素格式轉(zhuǎn)換

像素格式轉(zhuǎn)換就是將yuv420p 的轉(zhuǎn)成ARGB,可以使用 C/C++ 庫(kù) libyuv 來(lái)進(jìn)行轉(zhuǎn)換

I420ToARGB

參數(shù)按順序如下：

三、Native 原生繪制

Native 原生繪制是使用ANativeWindow 將surface 和 緩沖區(qū)buffer綁定，進(jìn)而去更新緩沖區(qū)的數(shù)據(jù)，并刷新到 surface 就可以實(shí)現(xiàn)原生繪制

1、獲取ANativeWindow指針,定義緩沖區(qū)

    //Native 繪制
    ANativeWindow *nativeWindow = ANativeWindow_fromSurface(env, surface);
    //緩沖區(qū)buffer
    ANativeWindow_Buffer windowBuffer;

2、設(shè)置緩沖區(qū)參數(shù)

//設(shè)置緩沖區(qū)參數(shù)
ANativeWindow_setBuffersGeometry(nativeWindow, avCodecContext->width,
                                             avCodecContext->height, WINDOW_FORMAT_RGBA_8888);

3、刷新數(shù)據(jù)到緩沖區(qū)

• 對(duì)緩沖區(qū)進(jìn)行加鎖
• 刷新轉(zhuǎn)換后的數(shù)據(jù)到緩沖區(qū)
• 對(duì)緩沖區(qū)數(shù)據(jù)進(jìn)行解鎖

//LOCK
ANativeWindow_lock(nativeWindo&windowBuffer, NULL
avpicture_fill((AVPicture rgba_frame, windowBuffer.bitPIX_FMT_RGBA,
            avCodecContext->width,
            avCodecContext->height
//fix buffer
I420ToARGB(
        yuv_frame->data[0yuv_frame->linesize[0],
        yuv_frame->data[2yuv_frame->linesize[2],
        yuv_frame->data[1yuv_frame->linesize[1],
        rgba_frame->data[0rgba_frame->linesize[0],
        avCodecContext->widtavCodecContext->height
//UNLOCK
ANativeWindow_unlockAndPost(natiindow);

4、釋放nativeWindow

ANativeWindow_release(nativeWindow);

四、使用FFmpeg實(shí)現(xiàn)native原生繪制，顯示視頻圖像

之前說(shuō)明了Android Studio 使用 CMake 來(lái)配置FFmpeg 的方法，這里就省略項(xiàng)目配置與Java代碼部分，主要來(lái)實(shí)現(xiàn)C/C++代碼部分,將像素?cái)?shù)據(jù)會(huì)知道 Surface 上

#include "cn_onestravel_ndk_ffmpeg_render_VideoPlayer.h"
#include <android/log.h>
#include <unistd.h>
//編碼
#include "include/libavcodec/avcodec.h"
//封裝格式處理
#include "include/libavformat/avformat.h"
//像素處理
#include "include/libswscale/swscale.h"
#include "include/libavutil/avutil.h"
#include "include/libavutil/frame.h"
#include <android/native_window.h>
#include <android/native_window_jni.h>
#include <libyuv.h>
#include <pthread.h>


#define LOGI(FORMAT, ...) __android_log_print(ANDROID_LOG_INFO,"FFMPEG",FORMAT,##__VA_ARGS__);
#define LOGE(FORMAT, ...) __android_log_print(ANDROID_LOG_ERROR,"FFMPEG",FORMAT,##__VA_ARGS__);


/*
 * Class:     cn_onestravel_ndk_ffmpeg_render_VideoPlayer
 * Method:    render
 * Signature: (Ljava/lang/String;Landroid/view/Surface;)V
 */
JNIEXPORT void JNICALL Java_cn_onestravel_ndk_ffmpeg_render_VideoPlayer_render
        (JNIEnv *env, jclass jcls, jstring jstr_input, jobject surface) {
    const char *cstr_input = (*env)->GetStringUTFChars(env, jstr_input, NULL);
    //注冊(cè)ffmpeg 所有組件
    av_register_all();
    //封裝格式上下文
    AVFormatContext *formatContext = avformat_alloc_context();
    //打開(kāi)輸入視頻文件
    if (avformat_open_input(&formatContext, cstr_input, NULL, NULL) != 0) {
        LOGE("無(wú)法打開(kāi)視頻文件");
        return;
    }
    //獲取視頻文件信息
    if (avformat_find_stream_info(formatContext, NULL) < 0) {
        LOGE("獲取視頻文件信息失敗");
        return;
    }
    //獲取視頻流的索引位置
    //遍歷所有類型的流（音頻流，視頻流、字幕流）
    int i = 0;
    int v_stream_index = -1;
    for (; i < formatContext->nb_streams; i++) {
        if (formatContext->streams[i]->codec->codec_type == AVMEDIA_TYPE_VIDEO) {
            v_stream_index = i;
            break;
        }
    }
    if (v_stream_index < 0) {
        LOGE("%s", "找不到視頻流\n");
        return;
    }
    //獲取視頻流中的編解碼的上下文
    AVCodecContext *avCodecContext = formatContext->streams[v_stream_index]->codec;
    //根據(jù)視頻編解碼上下文的id得到對(duì)應(yīng)的編解碼器

    AVCodec *avCodec = avcodec_find_decoder(avCodecContext->codec_id);
    if (avCodec == NULL) {
        LOGE("未找到解碼器");
        return;
    }
    //打開(kāi)解碼器
    if (avcodec_open2(avCodecContext, avCodec, NULL) < 0) {
        LOGE("打開(kāi)解碼器失敗");
        return;
    }
    //輸出視頻信息
    LOGI("視頻文件格式：%s", formatContext->iformat->name);
    //formatContext->duration單位為微妙
    LOGI("視頻時(shí)長(zhǎng)：%lld", (formatContext->duration) / 1000000);
    LOGI("視頻的寬度和高度 W：%d ,H：%d", avCodecContext->width, avCodecContext->height);
    LOGI("視頻解碼器名稱：%s", avCodec->name);
    //準(zhǔn)備讀取
    //AVPacket用于存儲(chǔ)一幀一幀的壓縮數(shù)據(jù)（H264）
    //緩沖區(qū)，開(kāi)辟空間
    AVPacket *packet = (AVPacket *) av_malloc(sizeof(AVPacket));
    AVFrame *yuv_frame = av_frame_alloc();
    AVFrame *yuv_scale_frame = av_frame_alloc();
    AVFrame *rgba_frame = av_frame_alloc();
    //Native 繪制
    ANativeWindow *nativeWindow = ANativeWindow_fromSurface(env, surface);
    //緩沖區(qū)buffer
    ANativeWindow_Buffer windowBuffer;

    int len, got_frame, frame_count = 0;
    while (av_read_frame(formatContext, packet) >= 0) {
        len = avcodec_decode_video2(avCodecContext, yuv_frame, &got_frame, packet);
        //不為0,正在解碼
        if (got_frame) {
            int i = frame_count++;
            LOGI("解碼%d幀", i);
            ANativeWindow_setBuffersGeometry(nativeWindow, avCodecContext->width,
                                             avCodecContext->height, WINDOW_FORMAT_RGBA_8888);
            //LOCK
            ANativeWindow_lock(nativeWindow, &windowBuffer, NULL);

            avpicture_fill((AVPicture *) rgba_frame, windowBuffer.bits, PIX_FMT_RGBA,
                           avCodecContext->width,
                           avCodecContext->height);

            //fix buffer
            I420ToARGB(
                    yuv_frame->data[0], yuv_frame->linesize[0],
                    yuv_frame->data[2], yuv_frame->linesize[2],
                    yuv_frame->data[1], yuv_frame->linesize[1],
                    rgba_frame->data[0], rgba_frame->linesize[0],
                    avCodecContext->width, avCodecContext->height);

            //UNLOCK
            ANativeWindow_unlockAndPost(nativeWindow);
//            ANativeWindow_release(nativeWindow);
            usleep(16 * 1000);
        }
        av_free_packet(packet);
    }
    ANativeWindow_release(nativeWindow);
    av_frame_free(yuv_frame);
    av_frame_free(rgba_frame);
    avcodec_close(avCodec);
    avcodec_free_context(avCodecContext);
    avformat_free_context(formatContext);
    (*env)->ReleaseStringUTFChars(env, jstr_input, cstr_input);

}

自定義 VideoView 繼承自 SurfaceView

public class VideoView extends SurfaceView {
    public VideoView(Context context) {
        super(context);
        init();
    }

    public VideoView(Context context, AttributeSet attrs) {
        super(context, attrs);
        init();
    }

    public VideoView(Context context, AttributeSet attrs, int defStyleAttr) {
        super(context, attrs, defStyleAttr);
        init();
    }

    public void init(){
        //初始化SurfaceView的像素格式
        SurfaceHolder holder = getHolder();
        holder.setFormat(PixelFormat.RGBA_8888);
    }
}