· 現實中常常遇到多分類問題，有些二分類問題可以直接推廣到多分類。不失一般性地，考慮N個類別C1,C2,...Cn，多分類基本思想是“拆解法",將多分類任務拆解為若干個二分類任務求解。
· 最經典的拆分策略有三種：“一對一”（OvO）,“一對其余”（OvR）和“多對多”(MvM),

一對一和一對其余示意圖：

image.png

· 一對一：將為區分類別為Ci和Cj訓練一個分類器，于是共要訓練N(N-1)/2個分類器，最終結果通過投票完成。
· 一對其余：每次將一個類的樣例作為正例，其余作為反例，在測試時，若僅有一個分類器預測為正例，則對應分類為最終分類結果。
· 總結：OvO所要分類器個數遠大于OvR，但每個分類器所需樣例少，OvR雖然分類器少，但每個分類器要用到所有的類別樣例。

多對多

MvM是每次將若干個類作為正類，若干個作為反類。正反類的構造使用一種常用技術：“糾錯輸出碼”（ECOC）
ECOC主要分為兩步完成：
· 編碼：對N個類別做M次劃分，每次劃分將一部分類別劃分為正類，一部分劃為反類，從而形成一個二分類訓練集；這樣生成了M個二分器
· 解碼：M個分類器分別對測試樣本進行預測，這些預測標記組成一個編碼。將這個預測編碼與每隔類別各自的編碼進行比較，返回其中距離最小的類別作為最終預測結果。
ECOC示意圖：

image.png

image.png