文章轉載自Google,最近更新：2018-08-3

Google上線了一個“機器學習速成課程”，英文簡稱MLCC。這個課程節奏緊湊、內容實用。課程基本可以全程中文（包括視頻）,免費,并且有相關的練習.

如果可以翻墻的小伙伴,可以看看,鏈接如下:機器學習速成課程

具體內容如下:

1.指定閾值

邏輯回歸返回的是概率。您可以“原樣”使用返回的概率（例如，用戶點擊此廣告的概率為 0.00023），也可以將返回的概率轉換成二元值（例如，這封電子郵件是垃圾郵件）。

如果某個邏輯回歸模型對某封電子郵件進行預測時返回的概率為 0.9995，則表示該模型預測這封郵件非常可能是垃圾郵件。相反，在同一個邏輯回歸模型中預測分數為 0.0003 的另一封電子郵件很可能不是垃圾郵件。可如果某封電子郵件的預測分數為 0.6 呢？為了將邏輯回歸值映射到二元類別，您必須指定分類閾值（也稱為判定閾值）。如果值高于該閾值，則表示“垃圾郵件”；如果值低于該閾值，則表示“非垃圾郵件”。人們往往會認為分類閾值應始終為 0.5，但閾值取決于具體問題，因此您必須對其進行調整。

我們將在后面的部分中詳細介紹可用于對分類模型的預測進行評估的指標，以及更改分類閾值對這些預測的影響。

注意：“調整”邏輯回歸的閾值不同于調整學習速率等超參數。在選擇閾值時，需要評估您將因犯錯而承擔多大的后果。例如，將非垃圾郵件誤標記為垃圾郵件會非常糟糕。不過，雖然將垃圾郵件誤標記為非垃圾郵件會令人不快，但應該不會讓您丟掉工作。

關鍵字詞

1. 二元分類 (binary classification)
   一種分類任務，可輸出兩種互斥類別之一。例如，對電子郵件進行評估并輸出“垃圾郵件”或“非垃圾郵件”的機器學習模型就是一個二元分類器。

2. 分類模型 (classification model)
   一種機器學習模型，用于區分兩種或多種離散類別。例如，某個自然語言處理分類模型可以確定輸入的句子是法語、西班牙語還是意大利語。請與回歸模型進行比較。

2.分類 (Classification)：真與假以及正類別與負類別

在本部分，我們將定義用于評估分類模型的指標的主要組成部分。不過，我們先來看一則寓言故事：

伊索寓言：狼來了（精簡版）

有一位牧童要照看鎮上的羊群，但是他開始厭煩這份工作。為了找點樂子，他大喊道：“狼來了！”其實根本一頭狼也沒有出現。村民們迅速跑來保護羊群，但他們發現這個牧童是在開玩笑后非常生氣。

[這樣的情形重復出現了很多次。]

一天晚上，牧童看到真的有一頭狼靠近羊群，他大聲喊道：“狼來了！”村民們不想再被他捉弄，都待在家里不出來。這頭饑餓的狼對羊群大開殺戒，美美飽餐了一頓。這下子，整個鎮子都揭不開鍋了。恐慌也隨之而來

我們做出以下定義：

• “狼來了”是正類別。
• “沒有狼”是負類別。

我們可以使用一個 2x2 混淆矩陣來總結我們的“狼預測”模型，該矩陣描述了所有可能出現的結果（共四種）：

真正例是指模型將正類別樣本正確地預測為正類別。同樣，真負例是指模型將負類別樣本正確地預測為負類別。

假正例是指模型將負類別樣本錯誤地預測為正類別，而假負例是指模型將正類別樣本錯誤地預測為負類別。

在后面的部分中，我們將介紹如何使用從這四種結果中衍生出的指標來評估分類模型。

關鍵字詞

1. 混淆矩陣 (confusion matrix)
   一種 NxN 表格，用于總結分類模型的預測成效；即標簽和模型預測的分類之間的關聯。在混淆矩陣中，一個軸表示模型預測的標簽，另一個軸表示實際標簽。N 表示類別個數。在二元分類問題中，N=2。例如，下面顯示了一個二元分類問題的混淆矩陣示例：
   

上面的混淆矩陣顯示，在 19 個實際有腫瘤的樣本中，該模型正確地將 18 個歸類為有腫瘤（18 個真正例），錯誤地將 1 個歸類為沒有腫瘤（1 個假負例）。同樣，在 458 個實際沒有腫瘤的樣本中，模型歸類正確的有 452 個（452 個真負例），歸類錯誤的有 6 個（6 個假正例）。

多類別分類問題的混淆矩陣有助于確定出錯模式。例如，某個混淆矩陣可以揭示，某個經過訓練以識別手寫數字的模型往往會將 4 錯誤地預測為 9，將 7 錯誤地預測為 1。混淆矩陣包含計算各種效果指標（包括精確率和召回率）所需的充足信息。

2. 負類別 (negative class)

在二元分類中，一種類別稱為正類別，另一種類別稱為負類別。正類別是我們要尋找的類別，負類別則是另一種可能性。例如，在醫學檢查中，負類別可以是“非腫瘤”。在電子郵件分類器中，負類別可以是“非垃圾郵件”。另請參閱正類別。

3. 正類別 (positive class)

在二元分類中，兩種可能的類別分別被標記為正類別和負類別。正類別結果是我們要測試的對象。（不可否認的是，我們會同時測試這兩種結果，但只關注正類別結果。）例如，在醫學檢查中，正類別可以是“腫瘤”。在電子郵件分類器中，正類別可以是“垃圾郵件”。與負類別相對。

4. 真正例 (TP, true positive)

被模型正確地預測為正類別的樣本。例如，模型推斷出某封電子郵件是垃圾郵件，而該電子郵件確實是垃圾郵件。

5. 真負例 (TN, true negative)

被模型正確地預測為負類別的樣本。例如，模型推斷出某封電子郵件不是垃圾郵件，而該電子郵件確實不是垃圾郵件。

3.分類 (Classification)：準確率

準確率是一個用于評估分類模型的指標。通俗來說，準確率是指我們的模型預測正確的結果所占的比例。正式點說，準確率的定義如下：

對于二元分類，也可以根據正類別和負類別按如下方式計算準確率：

其中，TP = 真正例，TN = 真負例，FP = 假正例，FN = 假負例。

讓我們來試著計算一下以下模型的準確率，該模型將 100 個腫瘤分為惡性 （正類別）或良性（負類別）：

準確率為 0.91，即 91%（總共 100 個樣本中有 91 個預測正確）。這表示我們的腫瘤分類器在識別惡性腫瘤方面表現得非常出色，對吧？

實際上，只要我們仔細分析一下正類別和負類別，就可以更好地了解我們模型的效果。

在 100 個腫瘤樣本中，91 個為良性（90 個 TN 和 1 個 FP），9 個為惡性（1 個 TP 和 8 個 FN）。

在 91 個良性腫瘤中，該模型將 90 個正確識別為良性。這很好。不過，在 9 個惡性腫瘤中，該模型僅將 1 個正確識別為惡性。這是多么可怕的結果！9 個惡性腫瘤中有 8 個未被診斷出來！

雖然 91% 的準確率可能乍一看還不錯，但如果另一個腫瘤分類器模型總是預測良性，那么這個模型使用我們的樣本進行預測也會實現相同的準確率（100 個中有 91 個預測正確）。換言之，我們的模型與那些沒有預測能力來區分惡性腫瘤和良性腫瘤的模型差不多。

當您使用分類不平衡的數據集（比如正類別標簽和負類別標簽的數量之間存在明顯差異）時，單單準確率一項并不能反映全面情況。

在下一部分中，我們將介紹兩個能夠更好地評估分類不平衡問題的指標：精確率和召回率。

關鍵字詞

1. 準確率 (accuracy)

分類模型的正確預測所占的比例。在多類別分類中，準確率的定義如下：

在二元分類中，準確率的定義如下：

2. 分類不平衡的數據集 (class-imbalanced data set)

一種二元分類問題，在此類問題中，兩種類別的標簽在出現頻率方面具有很大的差距。例如，在某個疾病數據集中，0.0001 的樣本具有正類別標簽，0.9999 的樣本具有負類別標簽，這就屬于分類不平衡問題；但在某個足球比賽預測器中，0.51 的樣本的標簽為其中一個球隊贏，0.49 的樣本的標簽為另一個球隊贏，這就不屬于分類不平衡問題。

4.分類 (Classification)：精確率和召回率

精確率

精確率指標嘗試回答以下問題：

在被識別為正類別的樣本中，確實為正類別的比例是多少？

精確率的定義如下：

注意：如果模型的預測結果中沒有假正例，則模型的精確率為 1.0。

讓我們來計算一下上一部分中用于分析腫瘤的機器學習模型的精確率：

召回率

召回率嘗試回答以下問題：

在所有正類別樣本中，被正確識別為正類別的比例是多少？

從數學上講，召回率的定義如下：

注意：如果模型的預測結果中沒有假負例，則模型的召回率為 1.0。

讓我們來計算一下腫瘤分類器的召回率：

該模型的召回率是 0.11，也就是說，該模型能夠正確識別出所有惡性腫瘤的百分比是 11%。

精確率和召回率：一場拔河比賽

要全面評估模型的有效性，必須同時檢查精確率和召回率。遺憾的是，精確率和召回率往往是此消彼長的情況。也就是說，提高精確率通常會降低召回率值，反之亦然。請觀察下圖來了解這一概念，該圖顯示了電子郵件分類模型做出的 30 項預測。分類閾值右側的被歸類為“垃圾郵件”，左側的則被歸類為“非垃圾郵件”。

圖 1. 將電子郵件歸類為垃圾郵件或非垃圾郵件

我們根據圖 1 所示的結果來計算精確率和召回率值：

精確率指的是被標記為垃圾郵件的電子郵件中正確分類的電子郵件所占的百分比，即圖 1 中閾值線右側的綠點所占的百分比：

圖 2 顯示了提高分類閾值產生的效果。

圖 2. 提高分類閾值

假正例數量會減少，但假負例數量會相應地增加。結果，精確率有所提高，而召回率則有所降低：

相反，圖 3 顯示了降低分類閾值（從圖 1 中的初始位置開始）產生的效果。

圖 3. 降低分類閾值

假正例數量會增加，而假負例數量會減少。結果這一次，精確率有所降低，而召回率則有所提高：

我們已根據精確率和召回率指標制定了各種指標。有關示例，請參閱 F1 值。

關鍵字詞

1. 精確率 (precision)

一種分類模型指標。精確率指模型正確預測正類別的頻率，即：

2. 召回率 (recall)

一種分類模型指標，用于回答以下問題：在所有可能的正類別標簽中，模型正確地識別出了多少個？即：

5.分類 (Classification)：檢查您的理解情況（準確率、精確率、召回率）

題目1:準確率

在以下哪種情況下，高的準確率值表示機器學習模型表現出色？
A、一只造價昂貴的機器雞每天要穿過一條交通繁忙的道路一千次。某個機器學習模型評估交通模式，預測這只雞何時可以安全穿過街道，準確率為 99.99%。

B、一種致命但可治愈的疾病影響著 0.01% 的人群。某個機器學習模型使用其癥狀作為特征，預測這種疾病的準確率為 99.99%。

C、在 roulette 游戲中，一只球會落在旋轉輪上，并且最終落入 38 個槽的其中一個內。某個機器學習模型可以使用視覺特征（球的旋轉方式、球落下時旋轉輪所在的位置、球在旋轉輪上方的高度）預測球會落入哪個槽中，準確率為 4%。

正確答案是C，具體解析如下：

A解析：在一條交通繁忙的道路上，99.99% 的準確率充分表明該機器學習模型的作用比碰運氣要好得多。不過，在某些情況下，即使偶爾出現錯誤，代價也相當高。99.99% 的準確率意味著這只昂貴的雞平均每 10 天就要更換一次。（這只雞也可能對它撞到的汽車造成嚴重損壞。）

B解析：在這種情形中，準確率是個糟糕的指標。畢竟，即使它只是個一律預測“沒病”的“愚蠢”模型，也依然能達到 99.99% 的準確率。而將某個患病的人錯誤地預測為“沒病”則可能是致命的。

C解析：這個機器學習模型做出的預測比碰運氣要好得多；隨機猜測的正確率為 1/38，即準確率為 2.6%。盡管該模型的準確率“只有”4%，但成功預測獲得的好處遠遠大于預測失敗的損失。

題目2:精確率

讓我們以一種將電子郵件分為“垃圾郵件”或“非垃圾郵件”這兩種類別的分類模型為例。如果提高分類閾值，精確率會怎樣？
A、一定會提高。
B、一定會降低。
C、可能會降低。
D、可能會提高。

A解析：提高分類閾值通常會使精確率提高；不過，精確率并不一定會隨著閾值的提高單調遞增。
B解析：一般來說，提高分類閾值會減少假正例，從而提高精確率。
C解析：一般來說，提高分類閾值會減少假正例，從而提高精確率。
D解析：一般來說，提高分類閾值會減少假正例，從而提高精確率。

題目3:召回率

讓我們以一種將電子郵件分為“垃圾郵件”或“非垃圾郵件”這兩種類別的分類模型為例。如果提高分類閾值，召回率會怎樣？
A、一定會提高。
B、始終下降或保持不變。
C、始終保持不變。

A解析：提高分類閾值會導致出現以下兩種情況：

• 真正例數量會減少或保持不變。
• 假負例數量會增加或保持不變。

因此，召回率一定不會提高。

B解析：提高分類閾值會導致真正例的數量減少或保持不變，而且會導致假負例的數量增加或保持不變。因此，召回率會保持不變或下降。

C解析：提高分類閾值會導致真正例的數量減少或保持不變，而且會導致假負例的數量增加或保持不變。因此，召回率會保持不變或下降。

題目4:精確率和召回率

以兩個模型（A 和 B）為例，這兩個模型分別對同一數據集進行評估。 以下哪一項陳述屬實？
A、如果模型 A 的召回率優于模型 B，則模型 A 更好。
B、如果模型 A 的精確率優于模型 B，則模型 A 更好。
C、如果模型 A 的精確率和召回率均優于模型 B，則模型 A 可能更好。

A解析：雖然更高的召回率是好事，但可能是以精確率大幅度降低為代價。一般來說，我們需要同時查看精確率和召回率，或者需要匯總曲線下面積等指標（我們將在后面部分進行討論）。

B解析：雖然更高的精確率是好事，但可能是以召回率大幅度降低為代價。一般來說，我們需要同時查看精確率和召回率，或者需要匯總曲線下面積等指標（我們將在后面部分進行討論）。

C解析：一般來說，如果某個模型在精確率和召回率方面均優于另一模型，則該模型可能更好。很顯然，我們需要確保在精確率/召回率點處進行比較，這在實踐中非常有用，因為這樣做才有實際意義。例如，假設我們的垃圾郵件檢測模型需要達到至少 90% 的精確率才算有用，并可以避免不必要的虛假警報。在這種情況下，將 {20% 精確率，99% 召回率} 模型與另一個 {15% 精確率，98% 召回率} 模型進行比較不是特別有意義，因為這兩個模型都不符合 90% 的精確率要求。但考慮到這一點，在通過精確率和召回率比較模型時，這是一種很好的方式。

6.分類 (Classification)：ROC 和曲線下面積

ROC 曲線

ROC 曲線（接收者操作特征曲線）是一種顯示分類模型在所有分類閾值下的效果的圖表。該曲線繪制了以下兩個參數：

• 真正例率
• 假正例率

**真正例率 (TPR) **是召回率的同義詞，因此定義如下：

**假正例率 (FPR) **的定義如下：

ROC 曲線用于繪制采用不同分類閾值時的 TPR 與 FPR。降低分類閾值會導致將更多樣本歸為正類別，從而增加假正例和真正例的個數。下圖顯示了一個典型的 ROC 曲線。

圖 4. 不同分類閾值下的 TP 率與 FP 率

為了計算 ROC 曲線上的點，我們可以使用不同的分類閾值多次評估邏輯回歸模型，但這樣做效率非常低。幸運的是，有一種基于排序的高效算法可以為我們提供此類信息，這種算法稱為曲線下面積。

曲線下面積：ROC 曲線下面積

曲線下面積表示“ROC 曲線下面積”。也就是說，曲線下面積測量的是從 (0,0) 到 (1,1) 之間整個 ROC 曲線以下的整個二維面積（參考積分學）。

圖 5. 曲線下面積（ROC 曲線下面積）

曲線下面積對所有可能的分類閾值的效果進行綜合衡量。曲線下面積的一種解讀方式是看作模型將某個隨機正類別樣本排列在某個隨機負類別樣本之上的概率。以下面的樣本為例，邏輯回歸預測從左到右以升序排列：

圖 6. 預測按邏輯回歸分數以升序排列

曲線下面積表示隨機正類別（綠色）樣本位于隨機負類別（紅色）樣本右側的概率。

曲線下面積的取值范圍為 0-1。預測結果 100% 錯誤的模型的曲線下面積為 0.0；而預測結果 100% 正確的模型的曲線下面積為 1.0。

• 曲線下面積因以下兩個原因而比較實用：
• 曲線下面積的尺度不變。它測量預測的排名情況，而不是測量其絕對值。
  曲線下面積的分類閾值不變。它測量模型預測的質量，而不考慮所選的分類閾值。

不過，這兩個原因都有各自的局限性，這可能會導致曲線下面積在某些用例中不太實用：

• 并非總是希望尺度不變。 例如，有時我們非常需要被良好校準的概率輸出，而曲線下面積無法告訴我們這一結果。

• 并非總是希望分類閾值不變。 在假負例與假正例的代價存在較大差異的情況下，盡量減少一種類型的分類錯誤可能至關重要。例如，在進行垃圾郵件檢測時，您可能希望優先考慮盡量減少假正例（即使這會導致假負例大幅增加）。對于此類優化，曲線下面積并非一個實用的指標。

關鍵字詞

1. ROC 曲線下面積 (AUC, Area under the ROC Curve)

一種會考慮所有可能分類閾值的評估指標。

ROC 曲線下面積是，對于隨機選擇的正類別樣本確實為正類別，以及隨機選擇的負類別樣本為正類別，分類器更確信前者的概率。

2. 受試者工作特征曲線（receiver operating characteristic, 簡稱 ROC 曲線）

不同分類閾值下的真正例率和假正例率構成的曲線。另請參閱曲線下面積。

7.分類 (Classification)：檢查您的理解情況（ROC 和 AUC）

題目1:ROC 和 AUC

以下哪條 ROC 曲線可產生大于 0.5 的 AUC 值？

A

B

C

D

E

答案是BE

A解析:這是可能出現的最差 ROC 曲線；它將所有負分類排列在正分類之上，其 AUC 為 0.0。如果您要逆轉每一項預測結果（將負分類翻轉為正分類，將正分類翻轉為負分類），還真的需要一個完美分類器！

B解析:這是可能達到的最好 ROC 曲線，因為它將所有正類別排列在所有負類別之上。該曲線的 AUC 為 1.0。

備注:實際上，如果您有一個 AUC 為 1.0 的“完美”分類器，您應該感到可疑，因為這可能表明您的模型中存在錯誤。例如，您的訓練數據可能過擬合，或者帶標簽數據可能被復制到其中一項特征中。

C解析:該 ROC 曲線的 AUC 介于 0 到 0.5 之間，這意味著它在不到 50% 的情況下將某個隨機正分類樣本排列在某個隨機負分類樣本之上。相應的模型實際上比隨機猜測的效果更差！如果您看到這樣的 ROC 曲線，可能表明您的數據中存在錯誤。

D解析:該 ROC 曲線的 AUC 為 0.5，這意味著 50% 的情況下它將某個隨機正分類樣本排列在某個隨機負分類樣本之上。因此，相應的分類模型基本上毫無價值，因為其預測能力與隨機猜測差不多。

E解析:該 ROC 曲線的 AUC 介于 0.5 到 1.0 之間，這意味著它在超過 50% 以上的情況下將某個隨機正分類樣本排列在某個隨機負分類樣本之上。實際二元分類的 AUC 值通常在此范圍內。

題目2:AUC 和預測結果的尺度

將給定模型的所有預測結果都乘以 2.0（例如，如果模型預測的結果為 0.4，我們將其乘以 2.0 得到 0.8），會使按 AUC 衡量的模型效果產生何種變化？

A、這會使 AUC 變得很糟糕，因為預測值現在相差太大。
B、這會使 AUC 變得更好，因為預測值之間相差都很大。
C、沒有變化。AUC 只關注相對預測分數。

A解析：有趣的是，即使預測值不同（可能與事實相差很大），將它們全部乘以 2.0 會使預測值的相對排序保持不變。由于 AUC 只關注相對排名，因此不會受到任何簡單的預測大小縮放的影響。

B解析：預測結果之間的差距實際上并不會影響 AUC。即使隨機抽取的真正例的預測分數只比隨機抽取的負類別樣本的預測分數大一點點，也會被當作對總體 AUC 分數有貢獻。

C解析：沒錯，AUC 以相對預測為依據，因此保持相對排名的任何預測變化都不會對 AUC 產生影響。而對其他指標而言顯然并非如此，例如平方誤差、對數損失函數或預測偏差（稍后討論）。

8.分類 (Classification)：預測偏差

邏輯回歸預測應當無偏差。即：

“預測平均值”應當約等于“觀察平均值”

注意：“預測偏差”與偏差（“wx + b”中的“b”）不是一回事。

如果出現非常高的非零預測偏差，則說明模型某處存在錯誤，因為這表明模型對正類別標簽的出現頻率預測有誤。

例如，假設我們知道，所有電子郵件中平均有 1% 的郵件是垃圾郵件。如果我們對某一封給定電子郵件一無所知，則預測它是垃圾郵件的可能性為 1%。同樣，一個出色的垃圾郵件模型應該預測到電子郵件平均有 1% 的可能性是垃圾郵件。（換言之，如果我們計算單個電子郵件是垃圾郵件的預測可能性的平均值，則結果應該是 1%。）然而，如果該模型預測電子郵件是垃圾郵件的平均可能性為 20%，那么我們可以得出結論，該模型出現了預測偏差。

造成預測偏差的可能原因包括：

• 特征集不完整
• 數據集混亂
• 模型實現流水線中有錯誤？
• 訓練樣本有偏差
• 正則化過強

您可能會通過對學習模型進行后期處理來糾正預測偏差，即通過添加校準層來調整模型的輸出，從而減小預測偏差。例如，如果您的模型存在 3% 以上的偏差，則可以添加一個校準層，將平均預測偏差降低 3%。但是，添加校準層并非良策，具體原因如下：

• 您修復的是癥狀，而不是原因。
• 您建立了一個更脆弱的系統，并且必須持續更新。

如果可能的話，請避免添加校準層。使用校準層的項目往往會對其產生依賴 - 使用校準層來修復模型的所有錯誤。最終，維護校準層可能會令人苦不堪言。

注意：出色模型的偏差通常接近于零。即便如此，預測偏差低并不能證明您的模型比較出色。特別糟糕的模型的預測偏差也有可能為零。例如，只能預測所有樣本平均值的模型是糟糕的模型，盡管其預測偏差為零。

分桶偏差和預測偏差

邏輯回歸可預測 0 到 1 之間的值。不過，所有帶標簽樣本都正好是 0（例如，0 表示“非垃圾郵件”）或 1（例如，1 表示“垃圾郵件”）。因此，在檢查預測偏差時，您無法僅根據一個樣本準確地確定預測偏差；您必須在“一大桶”樣本中檢查預測偏差。也就是說，只有將足夠的樣本組合在一起以便能夠比較預測值（例如 0.392）與觀察值（例如 0.394），邏輯回歸的預測偏差才有意義。

您可以通過以下方式構建桶：

• 以線性方式分解目標預測。
• 構建分位數。

請查看以下某個特定模型的校準曲線。每個點表示包含 1000 個值的分桶。兩個軸具有以下含義：

• x 軸表示模型針對該桶預測的平均值。
• y 軸表示該桶的數據集中的實際平均值。

兩個軸均采用對數尺度。

圖 8. 預測偏差曲線（對數尺度）

為什么只有模型的某些部分所做的預測如此糟糕？以下是幾種可能性：

• 訓練集不能充分表示數據空間的某些子集。
• 數據集的某些子集比其他子集更混亂。
• 該模型過于正則化。（不妨減小 lambda 的值。）

關鍵字詞

1. 分桶 (bucketing)

將一個特征（通常是連續特征）轉換成多個二元特征（稱為桶或箱），通常是根據值區間進行轉換。例如，您可以將溫度區間分割為離散分箱，而不是將溫度表示成單個連續的浮點特征。假設溫度數據可精確到小數點后一位，則可以將介于 0.0 到 15.0 度之間的所有溫度都歸入一個分箱，將介于 15.1 到 30.0 度之間的所有溫度歸入第二個分箱，并將介于 30.1 到 50.0 度之間的所有溫度歸入第三個分箱。

2. 預測偏差 (prediction bias)

一個值，用于表明預測平均值與數據集中標簽的平均值相差有多大。

3. 校準層 (calibration layer)

一種預測后調整，通常是為了降低預測偏差。調整后的預測和概率應與觀察到的標簽集的分布一致。