1.率失真代價計算模型
HEVC 的最大編碼單元為 LCU，即 64×64 的 CU（認為是數據單元，也就是編碼單元）；
下面就需要對LCU進行CU的劃分；步驟如下：
1、對一個 LCU 選擇最佳 CU編碼深度，需要遍歷所有 64×64 到 8×8 的分割，一共 85 個 CU，通過計算率失真代價選擇此 LCU 的最佳分割方式。
PS：首先先看這一步，一個LCU = 1個64CU+4個32CU+16個16CU+64個8CU = 1+4+16+64 = 85；
然后有一個問題，我們為什么在cu劃分的時候，最小是8x8，而不是4x4？
因為我們劃分LCU也只是第一步，因為后面還要去看PU的劃分以及TU的劃分；因為PU和TU得到劃分都是要基于CU來進行；后面會分析到PU和TU的劃分；這里我們要明白的是，因為PU和TU的劃分，所以CU只能最小到8x8（!!!!CU最小的劃分單元就是8x8，切記!!!!）；
2、對于每一個 CU，遍歷幀內和幀間所有可選的預測模式，根據率失真代價選擇最佳 PU（預測單元，做像素值的預測） 預測模式。
PS：PU有8種模式；它是針對于CU來進行劃分的，而且針對于不同的預測模式（skip，幀間，幀內），劃分的方式是不一樣的；如下：
3、對于每一種 PU 預測模式，TU的分割方式由當前 CU 的大小、PU 的預測模式以及最大 TU 分割深度等因素決定，選擇過程也需要計算率失真代價。
PS：TU的分割是與PU無關的，可以跨越多個PU的界限，也可以不跨越；還是依賴于的是CU的劃分
可以看出，在 HEVC 編碼過程中，任何一個劃分方式或預測模式的選擇，都需要計算率失真代價， HM 的編碼器中，率失真代價的計算模型有以下兩種：
1、非 RDO 模型
非 RDO 模型可用于幀內預測、運動估計、最佳 MVP 的選擇 及 merge 模式中最佳運動參數集的選擇等。
2、RDO 模型
所有有關分割方式的選擇都采用 RDO 模型計算率失真代價。
2.LCU 編碼深度選擇過程
當 LCU 的大小為 64×64，最大編碼深度為 3，則 LCU 編碼深度的選擇過程可如下圖表示。
第一步，如圖 a)，對大小為 64×64 深度為 0 的編碼單元 a 遍歷所有幀間和幀內預測模式，得到深度為 0 時的最優預測模式和率失真代價 Ra。
第二步，如圖 b)，對 a 進行一次 CU 劃分，得到四個子 CU：b0，b1，b2，b3，此時編碼深度為 1，并對編碼單元 b0 遍歷所有幀間和幀內預測模式，得到 b0的最優預測方式和率失真代價 Rb0。
第三步，如圖 c)，對 b0 進行進一步的 CU 劃分，得到四個子 CU：c0，c1，c2 和 c3，此時編碼深度為 2，并對編碼單元 c0 遍歷所有可能的預測模式，得到 c0的最優預測模式和率失真代價 Rc0。
第四步，如圖 d)，對 c0 做進一步 CU 劃分，得到四個子 CU：d0，d1，d2和 d3，此時編碼深度為 3，已達到最大編碼深度，不能再進行 CU 劃分。依次對d0、d1、d2 和 d3 進行預測模式選擇，得到各自對應的最優預測方式和率失真代價Rd0、Rd1、Rd2以及 Rd3，計算四個 CU 的率失真代價之和，并與 Rc0進行比較，選擇較小的值作為 c0 的最優率失真代價（記為 Min-Rc0），其對應的預測方式以及分割方式即為 c0 的最優預測方式和分割方式。
第五步，仿照第四步，依次對 c1、c2 和 c3 進行劃分與預測模式選擇，分別得到各自對應的最優預測方式和率失真代價 Min-Rc1、Min-Rc2、Min-Rc3，并計算當前編碼深度的四個 CU 的率失真代價之和，與 Rb0比較，得到較小的率失真代價（記為 Min-Rb0），其所對應的預測模式以及分割方式即為 b0 的最優預測模式和分割方式。
第六步，仿照第二步到第五步，依次對 b1、b2 和 b3 進行劃分與預測模式選擇，分別得到各自對應的最優預測方式和率失真代價 Min-Rb1、Min-Rb2、Min-Rb3，計并計算當前編碼深度的四個 CU 的率失真代價之和，并與 Ra 比較，得到較小的率失真代價（記為 Min-Ra），找出該 LCU 的最佳劃分方式以及最優預測模式。
3.CU 的預測模式選擇過程
在 LCU 的最佳劃分方式的選擇過程中，對于每一個編碼深度的 CU，做 PU 預測模式選擇，一個大小為 2N×2N 的 CU，PU 幀間預測模式有 skip、2N×2N、2N×N、N×2N、N×N、2N×nU、2N×nD、nL×2N 以及 nR×2N。
1）其中 skip 模式對應的 CU劃分方式為 2N×2N；
2）幀內模式 PU 的大小可以為 2N×2N 或 N×N，N×N 只能適用于深度為最大編碼深度（8x8）的 CU。
3）幀間預測模式有八種，后四種模式統稱為 AMP 模式，AMP 模式可以根據需要在參數配置中直接關閉。在 AMP 模式打開的情況下，這四種模式的選擇與前面的選擇結果相關。對于每一個 PU，共有 35 種幀內預測模式。
PU 的模式選擇過程如圖 3.3 所示：
第一步，計算 skip 模式的率失真代價，skip 模式運用到了 HEVC 中的新引入的運動合并技術。運用運動參數候選列表中的每個運動參數集找到預測塊，與原始塊做差值并進行變換，量化和熵編碼。最后用編碼的比特數和重構塊以及原始塊的失真計算出率失真代價，找到最佳的 merge-index。
第二步，計算 2N×2N 模式的率失真代價，首先運用 AMVP 技術得到 MVP 列表；然后運用非 RDO 方法計算率失真代價得到最佳 MVP；最后做運動搜索，找到預測塊，與原始塊做差值并進行變換、量化和熵編碼，運用編碼比特數以及重構塊和原始塊的 SSD 計算出率失真代價。與 skip 模式的率失真代價進行比較，在skip 和 2N×2N 中找出最佳 PU 模式。
第三步，計算 2N×N 和 N×2N 模式的率失真代價，首先運用 AMVP 技術，找到最佳 MVP 并作運動搜索找到預測塊；然后運用運動合并技術技術，得到最佳merge-index 對應的率失真代價，根據率失真代價確定最佳預測模式；最后對最佳模式得到的殘差做變換量化和熵編碼運用RDO計算出當前PU模式的率失真代價，并與第二步得到的最佳 PU 模式的率失真代價做比較，得到最佳 PU 模式。
第四步，計算 AMP 模式的率失真代價，AMP 模式包括四種分割方式，但是為了減小編碼復雜度，編碼過程中并沒有遍歷所有的模式，而是根據前三步選出的最佳PU模式以及上一層的CU的最佳分割模式以及預測模式選擇部分做模式判決。具體選擇如下表：
第五步，幀內預測模式選擇，對于 I_SLICE 或非 I_SLICE 中需要編碼的量化系數不全為 0 的 CU，需要做幀內預測的分割方式和幀內預測模式選擇，選擇過程如下：
1、預測單元 PU 大小與 CU 大小一致為 2N×2N，用非 RDO 模型計算率失真代價，從 35 種幀內預測模式中找到率失真代價較小的 n 中預測模式作為候選模式，n 的大小與 PU 的大小相關，如表 3-2 所示。
2、將當前 PU 上側和左側相鄰 PU 采用的幀內預測模式，即當前 PU 最有可能的預測模式（MPM）加入到該步驟的候選模式中，此時候選模式 k 最多為（n+2）。
3、運用 RDO 模型計算率失真代價在 k 種最佳候選模式中選出最佳亮度的幀內預測模式。
4、根據亮度的幀內預測模式選擇結果，做色度的幀內預測模式選擇。
5、如果當前編碼單元的編碼深度為最大編碼深度，將當前編碼單元分為 4 個N×N 的 PU，對于每一個 PU 重復 1~4 步，找到每一個 PU 的最佳幀內預測模式以及最佳預測模式對應的率失真代價。
6、根據前幾步得到率失真代價的值，決定當前 CU 的最佳劃分方式及幀內預測模式。
第六步，計算 PCM 模式的率失真代價。
由上述描述可知，對于一個 LCU 想要得到最佳 CU 劃分方式，需要遍歷其所有的 CU，對每個 CU 還需要遍歷各種預測模式，得到其最小的率失真代價。為加快編碼速度，模式選擇過程的優化可從 CU 編碼深度的選擇，PU 模式選擇和 TU分割方式的選擇三個方面進行研究和分析。因為 PU 模式選擇和 TU 分割方式選擇都是為了計算當前深度下，編碼 CU 的率失真代價，減少 CU 遍歷的次數，同時也減少了 PU 模式選擇的次數和 TU 分割方式選擇的次數。因此，基于 CU 編碼深度選擇過程做算法優化是最有效的。
