音頻處理分享

長音頻播放聲音分為MediaPlayer和AudioTrack兩種方案的。MediaPlayer可以播放多種格式的聲音文件,例如MP3,WAV,OGG,AAC,MIDI等。然而AudioTrack只能播放PCM數(shù)據(jù)流。當(dāng)然兩者之間還是有緊密的聯(lián)系,MediaPlayer在播放音頻時,在framework層還是會創(chuàng)建AudioTrack,把解碼后的PCM數(shù)流傳遞給AudioTrack,最后由AudioFlinger進(jìn)行混音,傳遞音頻給硬件播放出來。利用AudioTrack播放只是跳過Mediaplayer的解碼部分而已。

短音效播放聲音目前使用SoundPool方案,SoundPool 是 Android 提供的一個API類,用來播放簡短的音頻,使用簡單但功能相對強(qiáng)大。只需花很少的氣力,就可以完成音頻的播放、暫停、恢復(fù)及停止等操作。從名字上也可以看出,它是一個“pool”,我們可以加載多個音頻資源到內(nèi)存,進(jìn)行管理與播放,比如控制同時播放流的最大數(shù)目。加載資源到內(nèi)存是需要花費少許時間的,因此我們需要監(jiān)聽加載資源完畢的事件,在加載完畢后才能進(jìn)行播放,以免發(fā)生不可預(yù)期的錯誤。

以上均是GPU處理的硬編解碼方案。

1、MediaPlayer

使用注意點:

1、使用MediaPlayer的setDataSource設(shè)置raw資源需要轉(zhuǎn)化成Uri:

<pre>Uri setDataSourceuri = Uri.parse("android.resource://com.klzz.vipthink.pad/" + resId);</pre>

2、prepare()的調(diào)用可能需要很長時間執(zhí)行,因為它可能涉及到獲取和解碼媒體數(shù)據(jù)。因此,就像任何需要很長時間才能執(zhí)行的方法一樣,永遠(yuǎn)不要從應(yīng)用程序的UI線程調(diào)用它。這樣做會導(dǎo)致UI掛起,直到方法返回,這是一種非常糟糕的用戶體驗,并可能導(dǎo)致ANR(應(yīng)用程序沒有響應(yīng))錯誤。

準(zhǔn)備數(shù)據(jù)并且響應(yīng)UI的時間閾值是100ms。所以prepareAsync()可以解決以上問題。

3、可以通過調(diào)用start()、pause()seekTo()等方法在start、pause()和PlaybackCompleted狀態(tài)之間切換。但是,調(diào)用stop()時,資源已經(jīng)釋放,此時不適合調(diào)用start(),需要重新加載數(shù)據(jù)。

2、AudioTrack

作用:AudioTrack是管理和播放單一音頻資源的類。AudioTrack僅僅能播放已經(jīng)解碼的PCM流,用于PCM音頻流的回放。

AudioTrack實現(xiàn)PCM音頻播放五步走

1、配置基本參數(shù)

  • StreamType音頻流類型,系統(tǒng)將幾種聲音的數(shù)據(jù)分開管理,STREAM參數(shù)對AudioTrack來說,它的含義就是告訴系統(tǒng),我現(xiàn)在想使用的是音樂播放還是系統(tǒng)播放還是電話鈴聲等等,方便系統(tǒng)對應(yīng)管理。

  • MODE模式(static和stream兩種)。stream一邊加載編解碼一邊播放,優(yōu)點可處理大音頻,缺點是效率低;static是一次性加載,缺點是不適用大音頻。

  • 采樣率 (MediaRecoder 的采樣率通常是8000Hz AAC的通常是44100Hz。 設(shè)置采樣率為44100,目前為常用的采樣率,官方文檔表示這個值可以兼容所有的設(shè)置)

  • 通道數(shù)目:最大為雙聲道。

  • 頻量化位數(shù):mAudioFormat(只支持8bit和16bit兩種。)

2、獲取最小緩沖區(qū)大小

3、創(chuàng)建AudioTrack對象

4、獲取PCM數(shù)據(jù),轉(zhuǎn)成DataInputStream

  • 第一種加載PCM的路徑獲取到PCM文件
  • 第二種通過ffmpeg軟編碼轉(zhuǎn)碼其他類型的文件變?yōu)镻CM數(shù)據(jù)
  • 第三種通過MediaCodec硬編碼轉(zhuǎn)化PCM數(shù)據(jù)

5、開啟/停止播放

3、SoundPool

作用:播放一些短時間且可以重復(fù)重疊的音效,是一個多軌道播放的音效音頻工具類。

注意事項:
1、pause()、resume()和stop()是針對播放流操作的,傳遞的是play()返回的streamID ;
2、play()中的priority參數(shù),只在同時播放的流的數(shù)量超過了預(yù)先設(shè)定的最大數(shù)量是起作用,管理器將自動終止優(yōu)先級低的播放流。如果存在多個同樣優(yōu)先級的流,再進(jìn)一步根據(jù)其創(chuàng)建事件來處理,新創(chuàng)建的流的年齡是最小的,將被終止;
3、同時播放多個音頻,通過play()函數(shù),成功則返回非0的streamID;
4、當(dāng)設(shè)置為無限循環(huán)時,需要手動調(diào)用stop()來終止播放;
5、播放流的優(yōu)先級(play()中的priority參數(shù)),只在同時播放數(shù)超過設(shè)定的最大數(shù)時起作用;
6、程序中不用考慮(play觸發(fā)的)播放流的生命周期,無效的soundID/streamID不會導(dǎo)致程序錯誤。
無論如何,程序退出時,手動終止播放并釋放資源是必要的。

7、soundID是使用在play方法上的并返回streamID,streamID是使用在stop方法上的,用于指定暫停指定音效。

開發(fā)中曾遇到過播放長語音(文件大小1M以上)不全,播放語音解碼損壞的問題。

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
平臺聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點,簡書系信息發(fā)布平臺,僅提供信息存儲服務(wù)。
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌,老刑警劉巖,帶你破解...
    沈念sama閱讀 229,698評論 6 539
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場離奇詭異,居然都是意外死亡,警方通過查閱死者的電腦和手機(jī),發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 99,202評論 3 426
  • 文/潘曉璐 我一進(jìn)店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人,你說我怎么就攤上這事。” “怎么了?”我有些...
    開封第一講書人閱讀 177,742評論 0 382
  • 文/不壞的土叔 我叫張陵,是天一觀的道長。 經(jīng)常有香客問我,道長,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 63,580評論 1 316
  • 正文 為了忘掉前任,我火速辦了婚禮,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘。我一直安慰自己,他們只是感情好,可當(dāng)我...
    茶點故事閱讀 72,297評論 6 410
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著,像睡著了一般。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 55,688評論 1 327
  • 那天,我揣著相機(jī)與錄音,去河邊找鬼。 笑死,一個胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播,決...
    沈念sama閱讀 43,693評論 3 444
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了?” 一聲冷哼從身側(cè)響起,我...
    開封第一講書人閱讀 42,875評論 0 289
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 49,438評論 1 335
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 41,183評論 3 356
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發(fā)現(xiàn)自己被綠了。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 43,384評論 1 372
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情,我是刑警寧澤,帶...
    沈念sama閱讀 38,931評論 5 363
  • 正文 年R本政府宣布,位于F島的核電站,受9級特大地震影響,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點故事閱讀 44,612評論 3 348
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧,春花似錦、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 35,022評論 0 28
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 36,297評論 1 292
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機(jī)就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人。 一個月前我還...
    沈念sama閱讀 52,093評論 3 397
  • 正文 我出身青樓,卻偏偏與公主長得像,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點故事閱讀 48,330評論 2 377

推薦閱讀更多精彩內(nèi)容

  • 1. Android 音頻框架概述 Audio 是整個 Android 平臺非常重要的一個組成部分,負(fù)責(zé)音頻數(shù)據(jù)的...
    Letcos閱讀 1,563評論 0 4
  • 安卓平臺和聲音錄制與播放相關(guān)的主要是4個類:MediaRecorder,MediaPlayer,SoundPool...
    閑庭閱讀 10,617評論 1 47
  • android音頻處理 音頻基礎(chǔ)概念 基礎(chǔ)知識可以參考以下幾篇文章: 音頻,PCM,采樣率及android的Aud...
    好奇的小刺猬閱讀 2,521評論 0 3
  • 提醒一下,純個人筆記,你完全可能看暈 一、音頻數(shù)字化基礎(chǔ)知識 見書,列出知識點如下: 聲音聲波,聲音頻率、響度, ...
    YY17閱讀 31,394評論 6 48
  • 數(shù)字音頻 數(shù)字音頻的操作需要3個步驟:采樣,量化,編碼。 采樣:這個是指音頻的。首先要對模擬信號進(jìn)行采樣,所謂采樣...
    凌煙醉臥閱讀 215評論 0 0