前言
這篇文章簡單介紹下移動端Android系統下利用OpenSL ES進行音頻采集方法。
按照慣例先上一份源碼 AudioRecordLib 。
OpenSL ES采集的核心實現在于 openslescore.cpp 這個文件。
權限申請
想要使用OpenSL ES，需要在AndroidManifest.xml的配置文件里面增加權限
<uses-permission android:name="android.permission.RECORD_AUDIO"/>
OpenSL ES開發簡介
什么是OpenSL ES
OpenSL ES全稱為Open Sound Library for Embedded Systems，即嵌入式音頻加速標準。OpenSL ES是無授權費、跨平臺、針對嵌入式系統精心優化的硬件音頻加速 API。它為嵌入式移動多媒體設備上的本地 應用程序開發者提供了標準化、高性能、低響應時間的音頻功能實現方法，同時還實現了軟/硬件音頻性能的直接跨平臺部署，不僅降低了執行難度，而且促進了高級音頻市場的發展。
OpenSL ES架構原理
雖然OpenSL ES是基于C語言設計的API，但是其實基于對象和接口提供服務的，采用了面向對象的思想來開發API。
這里簡單說一下OpenSL ES里面的對象和接口的概念：
- 對象：類似于C++中類用來提供一組資源極其狀態的抽象，也就是我們可以根據特定類型type(例如音頻錄制type)來獲取一個音頻錄制的對象，但是對于這個對象我們并不能直接操作(換句話講也就是我們不能直接在這個對象調用開始/結束錄制的邏輯)。
- 接口：接口是對象提供一組特定功能方法的抽象，也就是可以從對象中獲取接口(例如從錄制對象中獲取錄制接口)，然后通過接口來改變對象的狀態(例如通過接口設置開始錄制)以便使用對象的功能(對于就是錄制功能)。
PS：對象可以有一個或者多個接口的實例，但是接口實例肯定只屬于一個對象，以上就是OpenSL ES的開發理念。
引用相關庫文件以及頭文件
怎么導入OpenSL ES庫
CMake方式：CMakeList.txt中加入
#找打Android lib庫里面的libOpenSLES.so的庫
find_library( OpenSLES-lib
OpenSLES )
#鏈接到你的native工程的庫
target_link_libraries( your-native.so
${OpenSLES-lib}
)
NDK Build方式：在Makefile文件Android.mk添加鏈接選項
LOCAL_LDLIBS = -lOpenSLES
引入頭文件
#include <SLES/OpenSLES.h>
#include <SLES/OpenSLES_Android.h>
創建引擎對象
簡單介紹下入口slCreateEngine()這個全局方法：
SL_API SLresult SLAPIENTRY slCreateEngine(
SLObjectItf *pEngine, //對象地址，用于傳出對象
SLuint32 numOptions, //配置參數數量
const SLEngineOption *pEngineOptions, //配置參數，為枚舉數組
SLuint32 numInterfaces, //支持的接口數量
const SLInterfaceID *pInterfaceIds, //具體的要支持的接口，是枚舉的數組
const SLboolean *pInterfaceRequired //具體的要支持的接口是開放的還是關閉的，也是一個數組，這三個參數長度是一致的
);
一個較為完整的創建過程代碼示例：
SLObjectItf engine_object; //引擎對象
SLEngineItf engine_engine; //引擎接口
//調用全局方法創建一個引擎對象（OpenSL ES唯一入口）
slCreateEngine(&engine_object, 0, NULL, 0, NULL, NULL);
//實例化這個對象
(*engine_object)->Realize(engine_object, SL_BOOLEAN_FALSE);
//從這個對象里面獲取引擎接口
(*engine_object)->GetInterface(engine_object, SL_IID_ENGINE, &engine_engine);
當然調用每一個API后要檢測其返回值是否等于 SL_RESULT_SUCCESS，限于篇幅就在上面代碼沒有處理，后續的示例代碼也是同理。
設置IO設備(麥克風) 輸入輸出
我們需要設置采集設備的一些輸入輸出配置：
//設置IO設備（麥克風）
SLDataLocator_IODevice io_device = {
SL_DATALOCATOR_IODEVICE, //類型 這里只能是SL_DATALOCATOR_IODEVICE
SL_IODEVICE_AUDIOINPUT, //device類型 選擇了音頻輸入類型
SL_DEFAULTDEVICEID_AUDIOINPUT, //deviceID 對應的是SL_DEFAULTDEVICEID_AUDIOINPUT
NULL //device實例
};
SLDataSource data_src = {
&io_device, //SLDataLocator_IODevice配置輸入
NULL //輸入格式，采集的并不需要
};
//設置輸出buffer隊列
SLDataLocator_AndroidSimpleBufferQueue buffer_queue = {
SL_DATALOCATOR_ANDROIDSIMPLEBUFFERQUEUE, //類型 這里只能是SL_DATALOCATOR_ANDROIDSIMPLEBUFFERQUEUE
2 //buffer的數量
};
//設置輸出數據的格式
SLDataFormat_PCM format_pcm = {
SL_DATAFORMAT_PCM, //輸出PCM格式的數據
num_channels, //輸出的聲道數量
SL_SAMPLINGRATE_44_1, //輸出的采樣頻率，這里是44100Hz
SL_PCMSAMPLEFORMAT_FIXED_16, //輸出的采樣格式，這里是16bit
SL_PCMSAMPLEFORMAT_FIXED_16, //一般來說，跟隨上一個參數
SL_SPEAKER_FRONT_LEFT|SL_SPEAKER_FRONT_RIGHT, //雙聲道配置，如果單聲道可以用 SL_SPEAKER_FRONT_CENTER
SL_BYTEORDER_LITTLEENDIAN //PCM數據的大小端排列
};
SLDataSink audioSink = {
&buffer_queue, //SLDataFormat_PCM配置輸出
&format_pcm //輸出數據格式
};
創建錄制器
主要是創建錄制對象和獲取錄制相關的接口：
SLObjectItf recorder_object; //錄制對象，這個對象我們從里面獲取了2個接口
SLRecordItf recorder_recoder; //錄制接口
SLAndroidSimpleBufferQueueItf recorder_buffer_queue; //Buffer接口
//創建錄制的對象，并且指定開放SL_IID_ANDROIDSIMPLEBUFFERQUEUE這個接口
const SLInterfaceID id[1] = {SL_IID_ANDROIDSIMPLEBUFFERQUEUE};
const SLboolean req[1] = {SL_BOOLEAN_TRUE};
(*engine_engine)->CreateAudioRecorder(engine_engine, //引擎接口
&recorder_object, //錄制對象地址，用于傳出對象
&data_src, //輸入配置
&audioSink, //輸出配置
1, //支持的接口數量
id, //具體的要支持的接口
req //具體的要支持的接口是開放的還是關閉的
);
//實例化這個錄制對象
(*recorder_object)->Realize(recorder_object, SL_BOOLEAN_FALSE);
//獲取錄制接口
(*recorder_object)->GetInterface(recorder_object, SL_IID_RECORD, &recorder_recoder);
//獲取Buffer接口
(*recorder_object)->GetInterface(recorder_object, SL_IID_ANDROIDSIMPLEBUFFERQUEUE, &recorder_buffer_queue);
設置數據回調并且開始錄制
設置開始錄制狀態，并通過回調函數獲取錄制的音頻PCM數據：
int8_t *pcm_data; //數據緩存區
//申請一塊內存，注意RECORDER_FRAMES是自定義的一個宏，指的是采集的frame數量，具體還要根據你的采集格式(例如16bit)計算
pcm_data = static_cast<int8_t *>(malloc(sizeof(int8_t) * RECORDER_FRAMES));
//設置數據回調接口bqRecorderCallback，最后一個參數是可以傳輸自定義的上下文引用
(*recorder_buffer_queue)->RegisterCallback(recorder_buffer_queue, bqRecorderCallback, this);
//設置錄制器為錄制狀態 SL_RECORDSTATE_RECORDING
(*recorder_recoder)->SetRecordState(recorder_recoder, SL_RECORDSTATE_RECORDING);
/在設置完錄制狀態后一定需要先Enqueue一次，這樣的話才會開始采集回調
(*recorder_buffer_queue)->Enqueue(recorder_buffer_queue, pcm_data, RECORDER_FRAMES);
//數據回調函數
static void bqRecorderCallback(SLAndroidSimpleBufferQueueItf bq, void *context)
{
//從pcm_data獲取RECORDER_FRAMES長度的PCM數據
//注意這個是另外一條采集線程回調，可能需要加一個變量recodering控制退出采集
if (recodering)
{
pcm_write(pcm_data, RECORDER_FRAMES);
//取完數據，需要調用Enqueue觸發下一次數據回調
(*recorder_buffer_queue)->Enqueue(recorder_buffer_queue, pcm_data, RECORDER_FRAMES);
}
}
停止錄制和釋放OpenSL ES資源
如果我們不需要采集了，需要調用接口停止采集并在適當的時機釋放OpenSL ES相關資源。
//設置錄制器為停止狀態 SL_RECORDSTATE_STOPPED
(*recorder_recoder)->SetRecordState(recorder_recoder, SL_RECORDSTATE_STOPPED);
//只需要銷毀OpenSL ES對象，接口不需要做Destroy處理。
(*recorder_object)->Destroy(recorder_object);
(*engine_object)->Destroy(engine_object);
//釋放緩存區內存
free(pcm_data);
這樣就完整的結束了OpenSL ES的采集業務。
播放PCM文件
Audacity這個工具可以導入pcm原始文件，并且提供了波形圖查看和播放功能。
操作流程是：
文件 => 導入 => 原始數據 => 設置PCM數據格式 => 導入
具體效果圖如下：
p1.png
結語
上一篇博客了介紹了Android利用AudioRecord進行錄音導出PCM數據。
本文同步發布于簡書、CSDN。
End!
