FFmpeg - Android 視頻播放器

本文的內(nèi)容是基于 《FFmpeg - 打造一款萬能的音樂播放器》 來實(shí)現(xiàn)的，源碼的地址在我個(gè)人的 github 上。我打算再新建一個(gè) VideoPlayer 項(xiàng)目用來實(shí)現(xiàn)視頻播放，因此本文的流程大致如下： 整合音樂播放器項(xiàng)目，對(duì)項(xiàng)目架構(gòu)進(jìn)行調(diào)整，視頻解碼播放，音視頻同步，陸續(xù)完善封裝 SDK 。

1. 整合音樂播放器項(xiàng)目

為了方便大家學(xué)習(xí)，我們先保留音樂播放器項(xiàng)目，然后把音樂播放器的代碼復(fù)制過來，在這基礎(chǔ)上再建一個(gè)新的項(xiàng)目 VideoPlayer。在實(shí)際開發(fā)的過程中可以不用新建兩個(gè)項(xiàng)目，根據(jù)具體的業(yè)務(wù)邏輯來取舍就好。不過還是想提醒一下大家，如果項(xiàng)目中只有音頻相關(guān)的業(yè)務(wù)邏輯，最好去裁剪一下 so 庫。我們也可以把解碼器做成動(dòng)態(tài)加載，當(dāng)然這屬于優(yōu)化的內(nèi)容了，后面我們也會(huì)講講關(guān)于 so 動(dòng)態(tài)加載與動(dòng)態(tài)修復(fù)相關(guān)的內(nèi)容。關(guān)于音頻播放器未實(shí)現(xiàn)的功能，我們統(tǒng)一到后面再一起來完善，大家可以先把最終效果代碼拿去，自己先研究研究。

2. 對(duì)項(xiàng)目架構(gòu)進(jìn)行調(diào)整

我們現(xiàn)在想加上視頻的功能，那么對(duì)于視頻和音頻解碼的部分，就會(huì)有很多冗余的代碼，我們勢(shì)必需要進(jìn)行抽離復(fù)用。因此我們打算新建一個(gè) DZMedia.cpp 抽象類，把原來音頻解碼的線程提取到 DZFFmpeg.cpp 中來。之前所學(xué)的設(shè)計(jì)模式，也要開始用上來了。

/**
 * 基類，公共內(nèi)容
 */
class DZMedia {
public:
    /**
     * 當(dāng)前流的角標(biāo)（音頻/視頻/字幕）
     */
    int streamIndex;
    /**
     * 解碼器上下文
     */
    AVCodecContext *pCodecContext = NULL;
    /**
     * 回調(diào) Java 層的 Call
     */
    JNIPlayerCall *pPlayerCall = NULL;
    /**
     * 播放狀態(tài)
     */
    DZPlayStatus *pPlayStatus = NULL;
    /**
     * AVPacket 隊(duì)列
     */
    AVPacketQueue *pPacketQueue = NULL;
    /**
     * 整個(gè)視頻的時(shí)長(zhǎng)
     */
    int duration = 0;
    /**
     * 當(dāng)前播放的時(shí)長(zhǎng)
     */
    double currentTime = 0;
public:
    DZMedia(int streamIndex, DZPlayStatus *pPlayStatus, JNIPlayerCall *pPlayerCall);

    ~DZMedia();

public:
    /**
     * 播放方法，純虛函數(shù)
     */
    virtual void play() = 0;

    /**
     * 解析公共的解碼器上下文
     */
    virtual void analysisStream(ThreadType threadType, AVFormatContext *pFormatContext);

    /**
     * 準(zhǔn)備解析數(shù)據(jù)過程中出錯(cuò)的回調(diào)
     * @param threadType 線程類型
     * @param errorCode 錯(cuò)誤碼
     * @param errorMsg 錯(cuò)誤信息
     */
    void callPlayerJniError(ThreadType threadType, int errorCode, const char *errorMsg);

    /**
     * 釋放資源
     */
    void release();
};

DZMedia::DZMedia(int streamIndex, DZPlayStatus *pPlayStatus, JNIPlayerCall *pPlayerCall) {
    this->streamIndex = streamIndex;
    this->pPlayStatus = pPlayStatus;
    this->pPlayerCall = pPlayerCall;
    pPacketQueue = new AVPacketQueue(pPlayStatus);
}

DZMedia::~DZMedia() {
    release();
}

void DZMedia::analysisStream(ThreadType threadType, AVFormatContext *pFormatContext) {
    AVCodecParameters *pCodecParameters = pFormatContext->streams[streamIndex]->codecpar;
    AVCodec *pCodec = avcodec_find_decoder(pCodecParameters->codec_id);
    if (!pCodec) {
        LOGE("Can't find audio decoder");
        callPlayerJniError(threadType, FIND_AUDIO_DECODER_ERROR_CODE,
                "Can't find audio decoder.");
        return;
    }

    pCodecContext = avcodec_alloc_context3(pCodec);
    int codecContextParametersRes = avcodec_parameters_to_context(pCodecContext, pCodecParameters);
    if (codecContextParametersRes < 0) {
        LOGE("codec parameters to_context error :%s", av_err2str(codecContextParametersRes));
        callPlayerJniError(threadType, codecContextParametersRes,
                av_err2str(codecContextParametersRes));
        return;
    }

    int codecOpenRes = avcodec_open2(pCodecContext, pCodec, NULL);
    if (codecOpenRes < 0) {
        LOGE("codec open error : %s", av_err2str(codecOpenRes));
        callPlayerJniError(threadType, codecOpenRes, av_err2str(codecOpenRes));
        return;
    }

    duration = pFormatContext->duration / AV_TIME_BASE;
}


void DZMedia::callPlayerJniError(ThreadType threadType, int errorCode, const char *errorMsg) {
    release();
    if (pPlayerCall != NULL) {
        pPlayerCall->onCallError(threadType, errorCode, errorMsg);
    }
}

void DZMedia::release() {
    if (pCodecContext != NULL) {
        avcodec_close(pCodecContext);
        avcodec_free_context(&pCodecContext);
        pCodecContext = NULL;
    }

    if (pPacketQueue != NULL) {
        delete (pPacketQueue);
        pPacketQueue = NULL;
    }
}

3. 視頻解碼播放

視頻的解碼與音頻的解碼流程大致一致，但需要考慮能否硬解碼，關(guān)鍵就是用什么方式渲染的問題了。目前有兩種比較主流的方式，一種就是用純?cè)?SurfaceView ，一種是用 GLSurfaceView 渲染。如果用 GLSurfaceView 去渲染，我們勢(shì)必需要了解學(xué)習(xí) OpenGLES ，這需要一定的學(xué)習(xí)成本。我們先繞過去直接采用 SurfaceView 來繪制。對(duì) OpenGL 感興趣的同學(xué)可以先看下 google 官方的例子 gles3jni ，后面我也會(huì)分享關(guān)于 OpenGL 的一些知識(shí)，大家不妨先去了解幾個(gè)問題：

  • OpenGL 是什么？
  • OpenGL 可以用來干什么？
  • OpenGL 與 OpenGLES 有什么關(guān)系？
  • 為什么要用 OpenGL 有哪些好處？
  • 應(yīng)該如何學(xué) OpenGL 有哪些難處？
  //--------------- 硬解碼相關(guān) start ---------------
  private static final Map<String, String> mCodecMap = new HashMap<>(2);

  static {
    /**
     "video/x-vnd.on2.vp8" - VP8 video (i.e. video in .webm)
     "video/x-vnd.on2.vp9" - VP9 video (i.e. video in .webm)
     "video/avc" - H.264/AVC video
     "video/hevc" - H.265/HEVC video
     "video/mp4v-es" - MPEG4 video
     "video/3gpp" - H.263 video
     "audio/3gpp" - AMR narrowband audio
     "audio/amr-wb" - AMR wideband audio
     "audio/mpeg" - MPEG1/2 audio layer III
     "audio/mp4a-latm" - AAC audio (note, this is raw AAC packets, not packaged in LATM!)
     "audio/vorbis" - vorbis audio
     "audio/g711-alaw" - G.711 alaw audio
     "audio/g711-mlaw" - G.711 ulaw audio
    */
    mCodecMap.put("h264", "video/avc");
    mCodecMap.put("h265", "video/hevc");
  }

  private static final String findMediaCodecName(String codeName) {
    if (mCodecMap.containsKey(codeName)) {
      return mCodecMap.get(codeName);
    }
    return "";
  }

  /**
  * 是否支持硬解碼，Call from jni
  *
  * @param codeName ffmpeg 的解碼器名字
  * @return 是否支持硬解碼
  */
  private final boolean isSupportStiffCodec(String codeName) {
    int codecCount = MediaCodecList.getCodecCount();
    for (int i = 0; i < codecCount; i++) {
        String[] supportedTypes = MediaCodecList.getCodecInfoAt(i).getSupportedTypes();
        for (String type : supportedTypes) {
            if (type.equals(findMediaCodecName(codeName))) {
                return true;
            }
        }
    }
    return false;
  }
  //--------------- 硬解碼相關(guān)  end  ---------------

  //獲取 nativeWindow 窗體
  ANativeWindow *nativeWindow = ANativeWindow_fromSurface(env, surface);
  //設(shè)置緩沖區(qū)的屬性（寬、高、像素格式）
  ANativeWindow_setBuffersGeometry(nativeWindow, pCodecContext->width, pCodecContext->height, WINDOW_FORMAT_RGBA_8888);
  //繪制時(shí)的緩沖區(qū)
  ANativeWindow_Buffer window_buffer;
  // lock
  ANativeWindow_lock(nativeWindow, &window_buffer, NULL);
  // 轉(zhuǎn)換成 rgba
  sws_scale(pSwsContext, pFrame->data, pFrame->linesize, 0, pFrame->height, rgbaFrame->data, rgbaFrame->linesize);
  // 把數(shù)據(jù)拷貝到 window_buffer 中
  memcpy(window_buffer.bits, buffer, pCodecContext->width * pCodecContext->height * 4);
  //unlock
  ANativeWindow_unlockAndPost(nativeWindow);

4. 音視頻的同步

關(guān)于音視頻的同步問題，我在網(wǎng)上查了一些資料，實(shí)現(xiàn)方案需要大量的變量和復(fù)雜的邏輯，個(gè)人推薦大家去看下 ffmpeg 的源碼，看看官方是怎么做音視頻同步的。這里我給出一套個(gè)人的解決方案，獲取音視頻的 pts 差值，根據(jù)差值來設(shè)置視頻的睡眠時(shí)間，如果視頻快了就休眠久點(diǎn)，視頻慢了就休眠短點(diǎn)，達(dá)到視頻和音頻的相對(duì)同步。這里有兩個(gè)概念：
pts：顯示時(shí)間戳，用來告訴播放器該在什么時(shí)候顯示這一幀數(shù)據(jù)。
time_base：時(shí)間度量單位（時(shí)間基）。

/**
 * 獲取當(dāng)前視頻幀應(yīng)該休眠的時(shí)間
 * @param pFrame 當(dāng)前視頻幀
 * @return 睡眠時(shí)間
 */
double DZVideo::getFrameSleepTime(AVFrame *pFrame) {
    // 如果 < 0 那么還是用之前的時(shí)間
    double times = pFrame->pts * av_q2d(timeBase);
    if (times > currentTime) {
        currentTime = times;
    }
    // 音頻和視頻之間的差值
    double diffTime = pAudio->currentTime - currentTime;

    // 第一次控制，0.016s ～ -0.016s
    if (diffTime > 0.016 || diffTime < -0.016) {
        if (diffTime > 0.016) {
            delayTime = delayTime * 2 / 3;
        } else if (diffTime < -0.016) {
            delayTime = delayTime * 3 / 2;
        }

        // 第二次控制，defaultDelayTime * 2 / 3 ～ defaultDelayTime * 3 / 2
        if (delayTime < defaultDelayTime / 2) {
            delayTime = defaultDelayTime * 2 / 3;
        } else if (delayTime > defaultDelayTime * 2) {
            delayTime = defaultDelayTime * 3 / 2;
        }
    }

    // 第三次控制，0～defaultDelayTime * 2
    if (diffTime >= 0.25) {
        delayTime = 0;
    } else if (diffTime <= -0.25) {
        delayTime = defaultDelayTime * 2;
    }

    // 假設(shè)1秒鐘25幀，不出意外情況，delayTime 是 0.02 , 0.04 , 0.06
    return delayTime;
}

這種同步的方式雖說是簡(jiǎn)單了點(diǎn)，但我測(cè)試過很多視頻都是沒有問題的，大家也可以多測(cè)試一下，反正同步的思想都差不多，參數(shù)我們可以具體調(diào)整。

視頻地址：https://pan.baidu.com/s/1OqGV0r7IfdNaXRipiFwBZA
視頻密碼：jifh

最后編輯于 ：
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
平臺(tái)聲明：文章內(nèi)容（如有圖片或視頻亦包括在內(nèi)）由作者上傳并發(fā)布，文章內(nèi)容僅代表作者本人觀點(diǎn)，簡(jiǎn)書系信息發(fā)布平臺(tái)，僅提供信息存儲(chǔ)服務(wù)。

推薦閱讀更多精彩內(nèi)容

  • 不要為了解決問題就立即動(dòng)手嘗試各種可能，而是應(yīng)該從查明議題開始。也就是從討論“什么有必要找出答案”開始，并以“為此...
    三七糖閱讀 467評(píng)論 0贊 1
  • 和那個(gè)年代鄉(xiāng)村的大多數(shù)房屋一樣， 我的老屋是沒有窗戶的。盡管如此，置身其間，卻絲毫沒有陰暗潮濕的感覺。老屋的正中，...
    三水魚人閱讀 203評(píng)論 0贊 1
  • 野百合c閱讀 253評(píng)論 0贊 0
  • 今日推薦《回鍋肉》——食材清單：五花肉、青椒、蒜苗 注：五花肉要用水煮過，筷子剛好能插過就好。切成三指薄片，鍋內(nèi)油...
    川郎閱讀 172評(píng)論 0贊 0