數(shù)字音頻基本概念
在實(shí)現(xiàn)功能之前，我們先來(lái)了解一下數(shù)字音頻的有關(guān)屬性：
采樣頻率(Sample Rate)：每秒采集聲音的數(shù)量，它用赫茲(Hz)來(lái)表示。(采樣率越高越靠近原聲音的波形)
采樣精度(Bit Depth)：指記錄聲音的動(dòng)態(tài)范圍，它以位(Bit)為單位。(聲音的幅度差)
聲音通道(Channel)：聲道數(shù)。比如左聲道右聲道。
采樣量化后的音頻最終是一串?dāng)?shù)字,聲音的大小(幅度)會(huì)體現(xiàn)在這個(gè)每個(gè)數(shù)字?jǐn)?shù)值大小上；而聲音的高低(頻率)和聲音的音色(Timbre)都和時(shí)間維度有關(guān)，會(huì)體現(xiàn)在數(shù)字之間的差異上。
音頻的編碼與解碼
自然界中的聲音非常復(fù)雜，波形極其復(fù)雜，通常我們采用的是脈沖代碼調(diào)制編碼，即PCM編碼。PCM通過(guò)抽樣、量化、編碼三個(gè)步驟將連續(xù)變化的模擬信號(hào)轉(zhuǎn)換為數(shù)字編碼。本篇文章介紹的混音就是對(duì)PCM數(shù)據(jù)做處理。
相對(duì)自然界的信號(hào)，任何數(shù)字音頻編碼方案都是有損的，因?yàn)闊o(wú)法完全還原。在計(jì)算機(jī)應(yīng)用中，能夠達(dá)到最高保真水平的就是PCM編碼，平時(shí)常見(jiàn)的WAV文件就是在PCM數(shù)據(jù)前加上一個(gè)44字節(jié)的RIFF頭部組成的。
音頻信號(hào)在時(shí)域和頻域上具有相關(guān)性，也即存在數(shù)據(jù)冗余，音頻編碼的實(shí)質(zhì)是減少音頻中的冗余。
那么，解碼的目的就是讓編碼后的數(shù)據(jù)恢復(fù)成PCM源數(shù)據(jù)。
AAC,Mp3 --> Decoder --> Audio PCM Data
常見(jiàn)的音頻編碼格式有以下這些：
public static final String MIMETYPE_AUDIO_AMR_NB = "audio/3gpp";
public static final String MIMETYPE_AUDIO_AMR_WB = "audio/amr-wb";
public static final String MIMETYPE_AUDIO_MPEG = "audio/mpeg";
public static final String MIMETYPE_AUDIO_AAC = "audio/mp4a-latm";
public static final String MIMETYPE_AUDIO_QCELP = "audio/qcelp";
public static final String MIMETYPE_AUDIO_VORBIS = "audio/vorbis";
public static final String MIMETYPE_AUDIO_OPUS = "audio/opus";
public static final String MIMETYPE_AUDIO_G711_ALAW = "audio/g711-alaw";
public static final String MIMETYPE_AUDIO_G711_MLAW = "audio/g711-mlaw";
public static final String MIMETYPE_AUDIO_RAW = "audio/raw";
public static final String MIMETYPE_AUDIO_FLAC = "audio/flac";
public static final String MIMETYPE_AUDIO_MSGSM = "audio/gsm";
public static final String MIMETYPE_AUDIO_AC3 = "audio/ac3";
public static final String MIMETYPE_AUDIO_EAC3 = "audio/eac3";
音頻的混音
音頻混音的原理: 量化的語(yǔ)音信號(hào)的疊加等價(jià)于空氣中聲波的疊加。
反應(yīng)到音頻數(shù)據(jù)上，也就是把同一個(gè)聲道的數(shù)值進(jìn)行簡(jiǎn)單的相加，但是這樣同時(shí)會(huì)產(chǎn)生一個(gè)問(wèn)題，那就是相加的結(jié)果可能會(huì)溢出，當(dāng)然為了解決這個(gè)問(wèn)題已經(jīng)有很多方案了，在這里我們采用簡(jiǎn)單的平均算法。
下面的演示程序適用于音頻文件采樣率、通道數(shù)、采樣精度一樣的情況：
/**
* 混合音頻，使用平均算法
*
* @param mixedBytes 輸出混合后的數(shù)據(jù)到該byte數(shù)組
* @param shorts1 需要混合的short數(shù)組1
* @param shorts2 需要混合的short數(shù)組2
*/
private void mixRawAudioBytes(byte[] mixedBytes, short[] shorts1, short[] shorts2) {
for (int i = 0; i < shorts2.length; i++) {
shorts1[i] = (short) ((shorts2[i] + shorts1[i]) / 2);
}
for (int i = 0; i < shorts1.length; i++) {
mixedBytes[i * 2] = (byte) (shorts1[i] & 0x00FF);
mixedBytes[i * 2 + 1] = (byte) ((shorts1[i] & 0xFF00) >> 8);
}
}
