圖片來源于官方博客：https://ai.facebook.com/blog/multilingual-model-speech-recognition/
[人工智能] [大模型] [Meta] [語音識別]
Meta 公開語音識別項目MMS（Massively Multilingual Speech）相關模型和代碼。支持 1100 多種語言。
主要包括 1個多語言數據集，3個精調模型，1個對齊工具。
1個多語言數據集
- 1,100 多種語言標記數據
- 近 4,000 種語言的未標記數據
3個主要的精調模型
| 任務 | 任務英文名稱 | 支持語言種類 | 效果 |
|---|---|---|---|
| 語音轉文本 | ASR（Automatic Speech Recognition） STT（Speech To Text） |
1107 種 | 在FLEURS基準上，對比OpenAI 的 Whisper，MMS語言種類擴大11倍，且表現更好 |
| 文本轉語音 | TTS（Text To Speech） | 1100 多種 | 在VoxLingua-107基準上，對比已有的模型，MMS在4000多種語言的規模下，表現不俗 |
| 語言識別 | LID（Language Identification） | 4000 多種 | 生成的語音質量很好。 （官方提供了一段效果的演示，可以在博文中查看） |
FLEURS基準上單詞錯誤率比較
VoxLingua-107基準上 LID 任務錯誤率比較
1個對齊工具
對齊工具包括
- 基于100多種語?的現有數據上訓練的對?模型
- 對齊算法，已經添加到PyTorch中
遇到的挑戰
挑戰一：數千種語言語音訓練數據的獲取
挑戰：數據范圍廣，需要獲取數千種語言的語音數據
方法：使用宗教文本，比如圣經。這些內容被廣泛翻譯、傳播和錄音。
結果：
- 創建了1,100 多種語?的新約讀物數據集 ， 每種語?平均提供32?時的數據錄音。
- 使用各種其他基督教宗教讀物的?標簽錄?，將可?語?的數量增加到4000多種。
即使在宗教內容的數據進行訓練，且男性的數據樣本更多的情況下，Meta認為由于使?了連接主義時間分類?法，模型在對男聲和女聲的識別效果同樣出色，也沒有過度偏向于產?更多的宗教語?。
挑戰二：數據預處理
挑戰：語音時間長，需要將文本和語音對齊
方法：在100多種語?的現有數據上訓練對?模型，并將該模型與?種?效的強制對?算法結合使?，該算法可以處理?約 20 分鐘或更?時間的超?錄? 。
對齊算法已經封裝到PyTorch，結合對齊模型，可以讓其他研究人員創建新的語音數據集。
挑戰三：語音時長短，無法從頭開始訓練模型
挑戰：每種語?32?時的數據不?以訓練傳統的監督式語?識別模型
方法：在已有語音模型 wav2vec 2.0 之上，使用數據進行微調。
wav2vec 2.0 是 Meta 之前關于?監督語?表示學習的?作 ， 在其上微調可以??減少了訓練良好系統所需的標記數據量 。
局限
- 存在語?到?本模型可能會錯誤轉錄選定單詞或短語的?險 。
- 根據輸出結果，可能會產生攻擊性和/或不準確的語? 。
