《算法導論》的確是本了不起的書，以我現在的水平即使是開頭的幾章也難以理解透徹，于是就有了”與其問題越堆積越多，不如停下來整理一下所學“這樣的念頭。
1. 分治
維基百科——
在計算機科學中，分治法是建基于多項分支遞歸的一種很重要的算法范式。字面上的解釋是“分而治之”，就是把一個復雜的問題分成兩個或更多的相同或相似的子問題，直到最后子問題可以簡單的直接求解，原問題的解即子問題的解的合并。
維基百科給出了分治法的定義，我相信這比我自己總結的要精確的多，因此直接引用。
分治策略是一種常用的算法策略，它是許多高效算法的基礎，其中最耳熟能詳的莫過于快速傅里葉變換與歸并算法。
在分治策略中，我們遞歸的求解一個問題，在每層遞歸中應用下面三個步驟：
- 分解：將問題劃分為一些子問題，子問題的形式與原問題一樣，只是規模更小；
- 解決：遞歸的求解出子問題，如果子問題的規模夠小，停止遞歸，直接求解。
- 合并：將子問題的解組合成原問題的解。
求解子問題時可能存在兩種情況：
- 遞歸情況：子問題足夠大，需要繼續遞歸求解；
- 基本情況：子問題已經足夠小，不再需要遞歸求解，可以直接得出當前子問題的解。
除了這兩種與原問題形式相同的子問題情況外，還可能要求求解原問題不一樣的子問題，我們將這些子問題的求解看做合并步驟的一部分。
2. 歸并算法的例子
我們首先來看看最常見的歸并排序算法，關于歸并排序的說明實在太多，我相信任何一篇說明該方面的文章都要比我講述的好，因此在此不再贅述歸并排序的詳細內容。
簡單了解歸并排序后，即可發現，歸并排序算法完全遵循分治模式，直觀上歸并排序可以理解為——
- 分解：分解待排序的n個元素的序列成各具n/2個元素的兩個子序列；
- 解決：判斷問題規模，若是足夠小則直接求出答案，若是較大則繼續分解問題，遞歸的求解答案；
- 合并：合并兩個已經完成排序的子序列以產生排序的答案。
在歸并排序問題中，序列的長度為1時，達到上述的基本情況的要求，不需要做任何工作。因為長度為1的序列必定是有序的。
算法導論中的偽代碼如下：
歸并排序算法的關鍵是“合并”步驟中兩個已排序序列的合并，這個過程多次調用并且不需要遞歸，因此我們設計一個輔助過程來實現。應該注意到的是該偽代碼設計中使用了“哨兵“，即在數組的最后一個元素后多設一個單元的空間，存放一個特殊值（這里是∞），每當處理到∞ 時即說明該數組的非哨兵元素都已經處理完畢。而∞ 大于任意常量，因此無元素數組不會再被提取元素，后續循環會將未處理完的數組元素一一提取插入新數組。
現在我們將過程MERGE作為一個子程序來調用，若p>=r,則子數組最多有一個元素，所以已經排好序。為了排序整個序列A={ A[1],A[2],.....,A[n] },我們執行初始調用MEAGE-SORT(A,1,A.length),這里A.length=n。
3. 分析歸并排序算法
3.1 MERGE
我們首先分析MERGE的時間復雜度，假設第1行到第17行運行一次的代價分別為常量c1,c2....c17，合并后的數組長度為n1+n2=r-p+1=n,可分析得出——
- 第1-3行僅執行一次，代價和為C1+C2+C3；
- 第4,5行執行n1次，第6,7行執行n2次，代價和為n1*(C4+C5)+n2*(C6+C7)；
- 第8-11行執行一次，代價和為C8+C9+C10+C11；
- 第12,13行執行n次，14-15行目的為將分數組L的元素逐個插入合數組A中，而L中只有n1個有效元素，因此該部分執行n1次，同理，16-17行執行n2次，代價和為： n*(C12+C13)+n1*(C14+C15)+n2*(C16+C17)。
將以上分析結果累加，常數項合并為CK，得時間復雜度
f(n) = n*(C12+C13)+n1*(C14+C15+C4+C5)+n2*(C16+C17+C6+C7)+CK
=Θ(n)+Θ(n1)+Θ(n2)+Θ(1)
=Θ(n)
3.2 總體
雖然歸并排序在元素數并非偶數時仍然能工作，但為了簡化分析過程，我們假定問題的規模是2的冪，這時每個分解步驟將產生規模正好為n/2的兩個子序列。這個假設將不會影響結果的增長量級。
當有n>1個元素時，設運行時間為T（n），我們分解運行時間為：
- 分解：分解步驟僅僅計算數組的中間位置，需要常量時間，時間復雜度為Θ（1）；
- 解決：遞歸的求解兩個規模均為n/2的子問題，將貢獻2T(n/2)的運行時間；
- 合并：之前的分析可知在一個具有n個元素的子數組過程上MERGE需要Θ（n）的時間。
由此可得出歸并排序最壞情況的運行時間為
當n=1時，T(n) = Θ(1);
當n>1時，T(n)=2T(n/2)+Θ(n)。
畫出遞歸樹
有關遞歸樹的內容之后再詳細說明。簡而言之，遞歸樹中的每個節點都表示了該節點的代價。T(n)分解之后本身剩余的是合并的代價——Θ(n)=cn，分解后的兩個T(n/2)的和是T(n)代價的另一部分，作為cn的兩個葉節點，由此可知整棵樹中所有節點的代價和即算法的代價。
將T(n)不斷分解，直到分解到問題規模為1時，由于n是2的冪，因此需要經過lg(n)層分解。無論如何分解，算法最終都會將各個分數組合并成長度為n的有序數組，每層分解都相當于將長度為n的有序數組不斷劃分為小數組，即每層操作的數組長度和是不變的，和為n。而合并操作的時間復雜度為Θ(n)，因此每層的代價和都為cn。
或者換個嚴謹些的方式來說，一般來說，若頂層為0層，頂層下的第i層有2i個節點，每個節點分解解決后合并時需要的代價為其自身的長度，即cn/(2i)。故每層的代價和為cn，一共有lg(n)+1層，因此整棵樹的代價為cn（lg(n)+1）=cn+cn*lg(n)。
忽略低階項和常量c后就得到了期望的結果Θ(nlg(n))。
4. 遞歸式
現在我們將上面所說的最壞情況的運行時間寫成數學表達式的形式：
這就是遞歸式了。遞歸式與分治法是緊密相關的，因為使用遞歸式可以很自然的刻畫分治算法的運行時間。一個遞歸式就是一個等式或不等式，它通過更小的輸入上的函數值來描述一個函數。遞歸式有很多種形式，例如，算法可能會將問題分解成規模不等的子問題，如2/3和1/3的劃分。同時，子問題的規模不必是原問題規模的一個固定比例，例如線性查找的遞歸式T(n)=T(n-1)+Θ(1)。
《算法導論》介紹了三種求解遞歸式的方法，即得出算法的”Θ“或”O“漸近界的方法：
- 代入法：我們猜測一個界，然后使用數學歸納法證明這個界的正確性；
- 遞歸樹法：將遞歸式轉換為一棵樹，其節點表示不同層次的遞歸調用產生的代價。然后采用邊界和技術來求解遞歸式；
- 主方法：主方法可用于求解形如 T(n)=aT(n/b)+f(n) 的遞歸式的界，其中a>=1,b>1,f(n)是一個給定的函數。這種形式的遞歸式很常見，它描述了一種算法：生成a個子問題，每個子問題的規模是原問題規模的1/b，分解和合并步驟總共花費時間為f(n)。
關于這三種方法的具體情況，我會將它整理在下一篇文章中。
參考文獻：Thomas H.Cormen《算法導論》，機械工業出版社， 2006-9-1
