做錄音時首先需要獲取本地采集的pcm數據和所有遠端用戶合成后的pcm數據，也就是播放時投遞給揚聲器的pcm數據，本文講解一下如何獲取webrtc的原始音頻數據。

webrtc版本說明

本文使用的webrtc api依賴于webrtc分支版本<=branch57
在branch57以及以前的版本應該都能測試通過。
在branch>=58中VoEExternalMedia可能會被移除。

使用的接口

使用的接口為webrtc::VoEExternalMedia類
所在文件為：webrtc/voice_engine/include/voe_external_media.h
首先需要實現一個數據回調使用的callback類：

class AudioMixDataCallBack :public webrtc::VoEMediaProcess
{
public:
    virtual void Process(int channel,
                         webrtc::ProcessingTypes type,
                         int16_t audio10ms[],
                         size_t length,
                         int samplingFreq,
                         bool isStereo)
    {
        if (type == webrtc::kPlaybackAllChannelsMixed)
        {
            printf("get remote mix pcm data\n");
        }
        if (type == webrtc::kRecordingAllChannelsMixed)
        {
            printf("get local record pcm data\n");
            //本地聲音是連續的，如果做錄音mp3應該以本地回調為時間參考
            //在本地回調時錄音
        }
    }
};

如何拿到數據

開啟webrtc數據回調：

  AudioMixDataCallBack* p = new AudioMixDataCallBack();
    webrtc::VoEExternalMedia* externalMedia =
                webrtc::VoEExternalMedia::GetInterface(g_voe->engine());
    //回調本地錄制數據
    externalMedia->RegisterExternalMediaProcessing(-1, 
                webrtc::kRecordingAllChannelsMixed, 
                *p);
    //回調所有遠端的合成數據
    externalMedia->RegisterExternalMediaProcessing(-1, 
                webrtc::kPlaybackAllChannelsMixed, 
                *p);
    return 0;

注意拿到混合后的數據要求RegisterExternalMediaProcessing的第一個參數channelId設置為-1

在webrtc branch55,branch56中根據以上方法就可以拿到數據了，但是在branch57中需要修改一下webrtc的代碼才能拿到數據。
修改的文件為：webrtc/audio/audio_state.cc

AudioState::AudioState(const AudioState::Config& config)
    : config_(config),
      voe_base_(config.voice_engine),
      audio_transport_proxy_(voe_base_->audio_transport(),
                             voe_base_->audio_processing(),
                             config_.audio_mixer) {
  process_thread_checker_.DetachFromThread();
  RTC_DCHECK(config_.audio_mixer);

  // Only one AudioState should be created per VoiceEngine.
  RTC_CHECK(voe_base_->RegisterVoiceEngineObserver(*this) != -1);

  auto* const device = voe_base_->audio_device_module();
  RTC_DCHECK(device);

  // This is needed for the Chrome implementation of RegisterAudioCallback.
  //注釋下面兩行代碼
  // device->RegisterAudioCallback(nullptr);
  // device->RegisterAudioCallback(&audio_transport_proxy_);
}

正確的調用堆棧

branch57中如果不注釋以上兩行代碼，會導致播放線程不會到VoEBaseImpl::NeedMorePlayData()拿播放數據，導致我們設置的回調不會執行。
修改后audio render線程在播放聲音之前會把混音后的數據回調到我們定義的AudioMixDataCallBack中
調用堆棧為：

AudioMixDataCallBack::Process()
AudioMixDataCallBack::Process()
webrtc::voe::OutputMixer::DoOperationsOnCombinedSignal()
webrtc::VoEBaseImpl::GetPlayoutData()
webrtc::VoEBaseImpl::NeedMorePlayData()
webrtc::VoEBaseImpl::NeedMorePlayData()
webrtc::AudioDeviceBuffer::RequestPlayoutData()
webrtc::AudioDeviceMac::RenderWorkerThread()
webrtc-test`webrtc::AudioDeviceMac::RunRender()

后續工作

據說VoEExternalMedia類將會在新版webrtc中刪除，在最新版本的webrtc中如何拿到數據目前還沒有研究。

關鍵詞：webrtc 錄音 pcm數據 audio 混音