記錄幾個有收獲的問題：
1. 先驗概率（先驗信息）什么時候有用？
先驗概率比較大的時候，才有參考價值，從艾滋病的例子中可以知道，若先驗概率很小，那么后驗概率基本沒有什么參考價值。此外，若先驗概率很小，計算MAP還不是計算MLP！
2. MAP和MLP的聯(lián)系
極大似然估計是極大MAP的特例，在這種情況下，所有的先驗信息認(rèn)為具有相同的概率，因此可以省略掉先驗概率的計算。
3. 通過MSE作為回歸損失，隱含的假設(shè)是什么？
隱含的假設(shè)是：信號由在作用于輸入后輸出，但是在這個過程中被高斯形式的噪音破壞了。
PS：倘若不是被高斯形式的噪聲破壞，則我們實際上并沒有在給這個“確定性函數(shù)”建模，在這種情況下，事實上我們就做錯了。
推理過程如下圖：
image.png
Minimums description length 最小描述長度
這塊還不太理解，先給出結(jié)論
結(jié)論：從貝葉斯的角度+信息論中的最小描述長度，可以解釋奧卡姆剃刀原則
4. Bayes Learning的最終目標(biāo)？為什么說僅僅找到最優(yōu)假設(shè)是錯誤的？
Bayes Learning的最終目標(biāo)不是Learning，而是為了Inference，而Inference階段不能僅僅用最優(yōu)的假設(shè)，而要使用全部的h進(jìn)行投票。
5. 什么是Bayes optimal classifier?
就是通過voting（加權(quán)平均）的方式進(jìn)行分類，稱為貝葉斯最優(yōu)分類器，而不是僅僅選最優(yōu)假設(shè)進(jìn)行分類。
