混音播放

前言

公司今年開始設置了創(chuàng)新獎,分享獎等各種大獎,不由得動力滿滿的,是時候拿些壓箱底來沖擊下獎項了。

正所謂,博一博,單車變摩托。


1,音頻API

安卓sdk里,播放音頻有 SoundPool,MediaPlayer, AudioTrack 三種方案。

SoundPool,明顯不適合技術(shù)選型,因為它比較適合播放短促音效,文件小的音頻。

MediaPlayer,使用頻繁的方案,自帶解碼,支持mp3,wav等音頻文件,但只支持單一音頻播放。同樣不適合。

AudioTrack,偏底層的音頻播放方案,只支持pcm文件。所以,需要將音頻文件解碼成PCM(byte[] ),再將數(shù)據(jù)讀取到固定的buffer緩存塊里,然后再寫入 AudioTrack ,就可以播放聲音。


由于前面兩個選項已被否決。那么,AudioTrack適不適合混和播放呢?暫不做確認,先看看什么是混和播放。

2,混音播放

混和播放,也就是多音軌同時播放,暫停,seekTo 等操作。


MediaPlayer 也不是不行。新建多個MediaPlayer實例,然后同時操作,該方案其實也是項目里Loop最初的實現(xiàn)方案,曲譜的實現(xiàn)方案。


雖然項目里的重點模塊-曲譜都用上該方案,說明可行性還是有的。但終究不是終極方案。

比如所有音軌播放之前,播放一段前置節(jié)拍。此時會出現(xiàn)銜接間斷的問題。

由于MediaPlayer是對AudioTrack的封裝,所以,這個方案的邏輯,其實是系統(tǒng)針對多應用同時播放聲音的方案。


所以,簡單的將MediaPlayer替換成AudioTrack,通過多個AudioTrack實例來實現(xiàn),原理上是一模一樣的。


那還有沒有其他方案呢。

這里就不得不探討下聲音的數(shù)字化的原理:在單位時間內(nèi)對聲波進行采樣,最后量化成pcm數(shù)據(jù)。


同理,混音的原理是是:各個聲音波形的疊加,也就是pcm數(shù)據(jù)的疊加。

而安卓sdk提供的音頻API里,唯一能夠針對pcm數(shù)據(jù)進行播放的,就只有AudioTrack。

結(jié)合上述的分析,具體的方案如下圖:


所以,該方案可行?


這里拋開其他一些額外處理(比如不同采樣率的音頻混音,混音后的溢出),理論上是可行的,但其實有個致命的問題。

那就是多音軌時,jvm內(nèi)存可能會爆掉。


這筆帳是可以算清楚的,

假如采樣率為 44100HZ,位深為 16bit,聲道數(shù)為 2 的 pcm,60 秒大小應為

44100×16bit×2×60s÷8bit=10,584,000Byte=10.0936889648MB?

而 Loop 單軌最高錄制 5分鐘,即單軌大小為 50M,8軌共計 400M

對于一些低端機型,怕是要承受不來的。

但實際場景并沒有這么極限。所以,應該是可行的。


實際上,恩雅APP采用了Google Oboe的方案,比AudioTrack更加底層,更加高效以及低延遲。

但混音原理是一樣的,至于不同采樣率的音頻混音,混音后的溢出同樣是存在的,這些還未完善。

而內(nèi)存溢出方面,由于JNI 沒有內(nèi)存限制,所以比AudioTrack更加放心。實測錄制8條5分鐘的音軌,整個應用占用的將近1G,1+3機型也不會出現(xiàn)內(nèi)存溢出的問題。

至于為何一開始沒有在AudioTrack下功夫,只是項目前期已經(jīng)接入Google Oboe,也就不再考慮范圍。

所以,接下來,則是重頭戲 Oboe 的混音實現(xiàn)了。由于篇幅太長,只能下集解說了。

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
平臺聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點,簡書系信息發(fā)布平臺,僅提供信息存儲服務。
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌,老刑警劉巖,帶你破解...
    沈念sama閱讀 229,619評論 6 539
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場離奇詭異,居然都是意外死亡,警方通過查閱死者的電腦和手機,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 99,155評論 3 425
  • 文/潘曉璐 我一進店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人,你說我怎么就攤上這事。” “怎么了?”我有些...
    開封第一講書人閱讀 177,635評論 0 382
  • 文/不壞的土叔 我叫張陵,是天一觀的道長。 經(jīng)常有香客問我,道長,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 63,539評論 1 316
  • 正文 為了忘掉前任,我火速辦了婚禮,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘。我一直安慰自己,他們只是感情好,可當我...
    茶點故事閱讀 72,255評論 6 410
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著,像睡著了一般。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 55,646評論 1 326
  • 那天,我揣著相機與錄音,去河邊找鬼。 笑死,一個胖子當著我的面吹牛,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播,決...
    沈念sama閱讀 43,655評論 3 444
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了?” 一聲冷哼從身側(cè)響起,我...
    開封第一講書人閱讀 42,838評論 0 289
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 49,399評論 1 335
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 41,146評論 3 356
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發(fā)現(xiàn)自己被綠了。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 43,338評論 1 372
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情,我是刑警寧澤,帶...
    沈念sama閱讀 38,893評論 5 363
  • 正文 年R本政府宣布,位于F島的核電站,受9級特大地震影響,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點故事閱讀 44,565評論 3 348
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧,春花似錦、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 34,983評論 0 28
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 36,257評論 1 292
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人。 一個月前我還...
    沈念sama閱讀 52,059評論 3 397
  • 正文 我出身青樓,卻偏偏與公主長得像,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當晚...
    茶點故事閱讀 48,296評論 2 376

推薦閱讀更多精彩內(nèi)容