Variational inference小結(jié)（自用版）

Screenshot 2023-01-31 at 11.19.52.png
  • 推斷是數(shù)學(xué)領(lǐng)域一個非常重要的概念。簡單來說, Inference指的是根據(jù)已經(jīng)有的有限的知識，去推測未知的知識。而使用貝葉斯概率論的方法進行推斷，就被成為Bayesian Inference貝葉斯推斷。
  • 貝葉斯推斷主要包括兩種：Estimation-based和Sampling-based。共同的目標(biāo)都是為了能夠求出后驗概率分布P(\theta|x)。
  • Sampling-based method顧名思義，就是利用采樣的方法來求后驗概率分布。
    • Monte Carlo方法是用模擬采樣代替計算。經(jīng)典的例子是求正方形中的圓形的面積，我就不贅述了。這種方法可以用在離散的情況，只需要均勻采樣x然后去計算它統(tǒng)計量的情況就行了。連續(xù)的情況就是借助概率分布函數(shù)，找到概率分布函數(shù)對應(yīng)的統(tǒng)計量。
    • MCMC其實可以看做是Monte Carlo的升級版。MC是隨機的給x然后去統(tǒng)計情況，忽略了采樣出來的樣本之間的聯(lián)系。就想挖礦一樣，這里挖出來金子，那就在這旁邊接著挖呀。所以MCMC增加了一個markov chain的依賴，就是下一次采樣的地方是和這一次有關(guān)系的。我們首先定義一個初始的\theta然后，根據(jù)proposal\; distribution 去采樣下一次的\theta，然后通過一個和后驗概率相關(guān)的accept/reject標(biāo)準(zhǔn)，決定是不是接受這個\theta，接收就更新到這個\theta并且把它加入到肯德基豪華午餐。
      • 注意，我們要接受一件事，就是markov chain一直乘下去一定可以收斂到某一個狀態(tài)不動了。而且我們這種accept/reject的方式收斂到的狀態(tài)恰好是我們想要的后驗概率。
      • MCMC啟動階段采樣出來的樣本是不能用的。
      • MCMC是個父類，有很多實現(xiàn)包括metroplis-hastings, gibbs, rejection sampling
  • Estimation-based method就是通過建模一個函數(shù)，去估計出后驗概率，利用數(shù)據(jù)去優(yōu)化這個函數(shù)的參數(shù)，從而越來越接近真實分布，有點機器學(xué)習(xí)的意思了。
    • Variational inference. VI其實就是直接對后驗概率P(\theta|x)建模，構(gòu)造一個函數(shù)q(\theta|x)。然后通過計算這兩個分布之間的KL散度作為優(yōu)化目標(biāo)，通過不斷地優(yōu)化這個目標(biāo)可以縮小估計誤差最終得到一個合理的后驗分布，有了后驗分布我們也能去采樣得到新的x
    • VAE其實和VI關(guān)系沒那么大，但是也是構(gòu)造了一個q去估計p(\theta|x) ，但是呢，這里降維了。另外呢，還建模了一個decoder p(x|\theta)，把這個隱變量再還原成x。注意這里的兩個建模都是用的神經(jīng)網(wǎng)絡(luò)，并且因為多了一個decoder，這個模型更多的是用來做一些生成，所以是generative models.
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
平臺聲明：文章內(nèi)容（如有圖片或視頻亦包括在內(nèi)）由作者上傳并發(fā)布，文章內(nèi)容僅代表作者本人觀點，簡書系信息發(fā)布平臺，僅提供信息存儲服務(wù)。

推薦閱讀更多精彩內(nèi)容