DTW可以計算兩個時間序列的相似度,尤其適用于不同長度、不同節奏的時間序列(比如不同的人讀同一個詞的音頻序列)。DTW將自動warping扭曲 時間序列(即在時間軸上進行局部的縮放),使得兩個序列的形態盡可能的一致,得到最大可能的相似度。
DTW采用了動態規劃DP(dynamic programming)的方法來進行時間規整的計算,可以說,動態規劃方法在時間規整問題上的應用就是DTW。
下面測試程序顯示了 6組時間序列 的DTW結果,左上和右下的兩組相似度較高,其DTW計算的距離(Warping Distance)也確實比較小。
本文以下內容絕大部分轉載自 http://blog.csdn.net/zouxy09/article/details/9140207
Dynamic Time Warping(DTW)誕生有一定的歷史了(日本學者Itakura提出),它出現的目的也比較單純,是一種衡量兩個長度不同的時間序列的相似度的方法。應用也比較廣,主要是在模板匹配中,比如說用在孤立詞語音識別(識別兩段語音是否表示同一個單詞),手勢識別,數據挖掘和信息檢索等中。
一、概述
在大部分的學科中,時間序列是數據的一種常見表示形式。對于時間序列處理來說,一個普遍的任務就是比較兩個序列的相似性。
在時間序列中,需要比較相似性的兩段時間序列的長度可能并不相等,在語音識別領域表現為不同人的語速不同。因為語音信號具有相當大的隨機性,即使同一個人在不同時刻發同一個音,也不可能具有完全的時間長度。而且同一個單詞內的不同音素的發音速度也不同,比如有的人會把“A”這個音拖得很長,或者把“i”發的很短。在這些復雜情況下,使用傳統的歐幾里得距離無法有效地求的兩個時間序列之間的距離(或者相似性)。
例如圖A所示,實線和虛線分別是同一個詞“pen”的兩個語音波形(在y軸上拉開了,以便觀察)。可以看到他們整體上的波形形狀很相似,但在時間軸上卻是不對齊的。例如在第20個時間點的時候,實線波形的a點會對應于虛線波形的b’點,這樣傳統的通過比較距離來計算相似性很明顯不靠譜。因為很明顯,實線的a點對應虛線的b點才是正確的。而在圖B中,DTW就可以通過找到這兩個波形對齊的點,這樣計算它們的距離才是正確的。
也就是說,大部分情況下,兩個序列整體上具有非常相似的形狀,但是這些形狀在x軸上并不是對齊的。所以我們在比較他們的相似度之前,需要將其中一個(或者兩個)序列在時間軸下warping扭曲,以達到更好的對齊。而DTW就是實現這種warping扭曲的一種有效方法。DTW通過把時間序列進行延伸和縮短,來計算兩個時間序列性之間的相似性。
那如果才知道兩個波形是對齊了呢?也就是說怎么樣的warping才是正確的?直觀上理解,當然是warping一個序列后可以與另一個序列重合recover。這個時候兩個序列中所有對應點的距離之和是最小的。所以從直觀上理解,warping的正確性一般指“feature to feature”的對齊。
二、動態時間規整DTW
動態時間規整DTW是一個典型的優化問題,它用滿足一定條件的的時間規整函數W(n)描述測試模板和參考模板的時間對應關系,求解兩模板匹配時累計距離最小所對應的規整函數。
假設我們有兩個時間序列Q和C,他們的長度分別是n和m:(實際語音匹配運用中,一個序列為參考模板,一個序列為測試模板,序列中的每個點的值為語音序列中每一幀的特征值。例如語音序列Q共有n幀,第i幀的特征值(一個數或者一個向量)是qi。至于取什么特征,在這里不影響DTW的討論。我們需要的是匹配這兩個語音序列的相似性,以達到識別我們的測試語音是哪個詞)
Q= q1, q2,…,qi,…, qn ;
C= c1, c2,…, cj,…, cm ;
首先,我們依然采用兩個序列中每一對“點”之間的距離來計算形似度,即使兩個序列中的點的個數可能不一樣。不過,因為可以warping規整時間軸,所以,我們并不是在兩個序列中依次取一對點來計算距離,而是每個點有可能對應于另一個序列中的多個點。從上面圖B可以看到這種一對多的情況。
當然,這種warping有一定要求,每個點都必須用到,不可跳過,要按照原始的次序,點對不可交叉。即要滿足下面描述的 邊界條件、連續性、單調性。
關于每一對點的距離計算,這個距離的算法并無規定,依賴于每個“點”的性質來選擇,一個“點”可以是單個數值,也可以是一個多維向量。在簡單的情況下,可以計算兩個點的歐氏距離作為這一對點的距離。
理論上可以窮舉兩個序列的所有可能的warping 形式,逐一計算兩者距離,距離最小的就是所要求的warping,但這樣計算量太大,所以采用動態規劃的方法來高效的完成計算。
我們需要將連個序列對齊。最簡單的對齊方式就是線性縮放了。把短的序列線性放大到和長序列一樣的長度再比較,或者把長的線性縮短到和短序列一樣的長度再比較。但是這樣的計算沒有考慮到語音中各個段在不同情況下的持續時間會產生或長或短的變化,因此識別效果不可能最佳。因此更多的是采用動態規劃(dynamic programming)的方法。
為了對齊這兩個序列,我們需要構造一個n x m的矩陣網格,矩陣元素(i, j)表示qi和cj兩個點的距離d(qi, cj)(也就是序列Q的每一個點和C的每一個點之間的相似度,距離越小則相似度越高。這里先不管順序),一般采用歐式距離,d(qi, cj)= (qi-cj)2(也可以理解為失真度)。每一個矩陣元素(i, j)表示點qi和cj的對齊。DP算法可以歸結為尋找一條通過此網格中若干格點的路徑,路徑通過的格點即為兩個序列進行計算的對齊的點。
那么這條路徑我們怎么找到呢?那條路徑才是最好的呢?也就是剛才那個問題,怎么樣的warping才是最好的。
我們把這條路徑定義為warping path規整路徑,并用W來表示, W的第k個元素定義為wk=(i,j)k,定義了序列Q和C的映射。這樣我們有:
首先,這條路徑不是隨意選擇的,需要滿足以下幾個約束:
1)邊界條件:w1=(1, 1)和wK=(m, n)。任何一種語音的發音快慢都有可能變化,但是其各部分的先后次序不可能改變,因此所選的路徑必定是從左下角出發,在右上角結束。
2)連續性:如果wk-1= (a’, b’),那么對于路徑的下一個點wk=(a, b)需要滿足 (a-a’) <=1和 (b-b’) <=1。也就是不可能跨過某個點去匹配,只能和自己相鄰的點對齊。這樣可以保證Q和C中的每個坐標都在W中出現。
3)單調性:如果wk-1= (a’, b’),那么對于路徑的下一個點wk=(a, b)需要滿足0<=(a-a’)和0<= (b-b’)。這限制W上面的點必須是隨著時間單調進行的。以保證圖B中的虛線不會相交。
結合連續性和單調性約束,每一個格點的路徑就只有三個方向了。例如如果路徑已經通過了格點(i, j),那么下一個通過的格點只可能是下列三種情況之一:(i+1, j),(i, j+1)或者(i+1, j+1)。
滿足上面這些約束條件的路徑可以有指數個,然后我們感興趣的是使得下面的規整代價最小的路徑:
分母中的K主要是用來對不同的長度的規整路徑做補償。因為不同的路徑其長短不同,較長的路徑有較多的“點對”,會有較多的距離累加上去,所以總距離除以K得到單位路徑的距離。
我們的目的是什么?或者說DTW的思想是什么?是把兩個時間序列進行延伸和縮短,來得到兩個時間序列性距離最短也就是最相似的那一個warping,這個最短的距離也就是這兩個時間序列的最后的距離度量。在這里,我們要做的就是選擇一個路徑,使得最后得到的總的距離最小。
這里我們定義一個累加距離cumulative distances。從(0, 0)點開始匹配這兩個序列Q和C,每到一個點,之前所有的點計算的距離都會累加。到達終點(n, m)后,這個累積距離就是我們上面說的最后的總的距離,也就是序列Q和C的相似度。
累積距離γ(i,j)可以按下面的方式表示,累積距離γ(i,j)為當前格點距離d(i,j),也就是點qi和cj的歐式距離(相似性)與可以到達該點的最小的鄰近元素的累積距離之和:
最佳路徑是使得沿路徑的積累距離達到最小值這條路徑。這條路徑可以通過動態規劃(dynamic programming)算法得到。
具體搜索或者求解過程的直觀例子解釋可以參考:
http://www.cnblogs.com/tornadomeet/archive/2012/03/23/2413363.html
三、DTW在語音中的運用
假定一個孤立字(詞)語音識別系統,利用模板匹配法進行識別。這時一般是把整個單詞作為識別單元。在訓練階段,用戶將詞匯表中的每一個單詞說一遍,提取特征后作為一個模板,存入模板庫。在識別階段,對一個新來的需要識別的詞,也同樣提取特征,然后采用DTW算法和模板庫中的每一個模板進行匹配,計算距離。求出最短距離也就是最相似的那個就是識別出來的字了。
四、參考資料
[1] http://baike.baidu.com/view/1647336.htm
[2] http://www.cnblogs.com/tornadomeet/archive/2012/03/23/2413363.html
[3] http://www.cnblogs.com/luxiaoxun/archive/2013/05/09/3069036.html (有matlab/C++ code)
[4] Eamonn J. Keogh, Derivative Dynamic Time Warping
[5]趙立《語音信號處理》