3 GANs 如何工作？
我們現(xiàn)在已經(jīng)看過了幾種其他的生成式模型，并解釋了 GANs 與他們的不同原理。但是 GANs 是如何工作的呢？
3.1 GAN 框架
GANs 的基本思想是設(shè)置兩個參與人的博弈。其中一個是生成器(generator)。生成器產(chǎn)生來自和訓(xùn)練樣本一樣的分布的樣本。另外一個判別器(discriminator)。判別器檢查這些樣本來確定他們是真實(shí)的還是偽造的。判別器使用傳統(tǒng)的監(jiān)督學(xué)習(xí)技術(shù)進(jìn)行訓(xùn)練，將輸入分成兩類（真實(shí)的或者偽造的）。生成器訓(xùn)練的目標(biāo)就是欺騙判別器。我們可以將生成器當(dāng)做一個偽鈔制造者，而判別器是警察，想要找出偽鈔。為了在這樣的博弈中取勝，偽鈔制造者必須學(xué)會制造出與真幣相似的偽鈔，生成器網(wǎng)絡(luò)必須學(xué)會產(chǎn)生出和訓(xùn)練數(shù)據(jù)一致的分布的樣本。圖 12 解釋了這個過程。
形式上看，GANs 是一種結(jié)構(gòu)化概率模型（參看 Goodfellow 等人書的第 16 章）包含了隱含變量 z 和可觀測變量 x。圖結(jié)構(gòu)在圖 13 展示。
博弈中的兩個參與人由兩個函數(shù)表示，每個都是關(guān)于輸入和參數(shù)可微分的。判別器是一個以 x 作為輸入和使用 θ(D) 為參數(shù)的函數(shù) D 定義。生成器由一個以 z 為輸入使用 θ(G) 為參數(shù)的函數(shù) G 定義。
兩個參與人有用兩個參與人的參數(shù)定義的代價函數(shù)。判別器希望僅控制住 θ(D) 情形下最小化 J(D)( θ(D), θ(G))。生成器希望在僅控制 θ(D) 情形下最小化 J(G)( θ(D), θ(G))。因?yàn)槊總€參與人的代價依賴于其他參與人的參數(shù)，但是每個參與人不能控制別人的參數(shù)，這個場景其實(shí)更為接近一個博弈而非優(yōu)化問題。優(yōu)化問題的解是一個局部最小，這是參數(shù)空間的點(diǎn)其鄰居有著不小于它的代價。而對一個博弈的解釋一個納什均衡。這里我們使用局部可微分 Nash 均衡這個術(shù)語。在這樣的設(shè)定下，Nash 均衡是一個元組，( θ(D), θ(G)) 既是關(guān)于θ(D)的 J(D) 的局部最小值和也是關(guān)于θ(G)的 J(G) 局部最小值。
生成器 生成器是一個可微分函數(shù) G。當(dāng) z 從某個簡單的先驗(yàn)分布中采樣出來時，G(z) 產(chǎn)生一個從 pmodel 中的樣本 x。一般來說，深度神經(jīng)網(wǎng)絡(luò)可以用來表示 G。注意函數(shù) G 的輸入不需要和深度神經(jīng)網(wǎng)絡(luò)的第一層的輸入相同；輸入可能放在網(wǎng)絡(luò)的任何地方。例如，我們可以將 z 劃分成兩個向量 z(1) 和 z(2)，然后讓 z(1) 作為神經(jīng)網(wǎng)絡(luò)的第一層的輸入，將 z(2) 作為神經(jīng)網(wǎng)絡(luò)的最后一層的輸入。如果 z(2) 是 Gaussian，這就使得 x 成為 z(1) 條件高斯。另外一個流行的策略是將噪聲加到或者乘到隱含層或者將噪聲拼接到神經(jīng)網(wǎng)絡(luò)的隱含層上。總之，我們看到其實(shí)對于生成式網(wǎng)絡(luò)只有很少的限制。如果我們希望 pmodel 是 x 空間的支集(support)，我們需要 z 的維度需要至少和 x 的維度一樣大，而且 G 必須是可微分的，但是這些其實(shí)就是僅有的要求了。特別地，注意到使用非線性 ICA 方法的任何模型都可以成為一個 GAN 生成器網(wǎng)絡(luò)。GANs 和變分自編碼器的關(guān)系更加復(fù)雜一點(diǎn)；一方面 GAN 框架可以訓(xùn)練一些 VAE 不能的訓(xùn)練模型，反之亦然，但是兩個框架也有很大的重合部分。 最為顯著的差異是，如果采用標(biāo)準(zhǔn)的反向傳播，VAEs 不能在生成器輸入有離散變量，而 GANs 不能夠在生成器的輸出層有離散變量。
訓(xùn)練過程 訓(xùn)練過程包含同時隨機(jī)梯度下降 simultaneous SGD。在每一步，會采樣兩個 minibatch：一個來自數(shù)據(jù)集的 x 的 minibatch 和一個從隱含變量的模型先驗(yàn)采樣的 z 的 minibatch。然后兩個梯度步驟同時進(jìn)行：一個更新 θ(D) 來降低 J(D)，另一個更新 θ(G) 來降低 J(G)。這兩個步驟都可以使用你選擇的基于梯度的優(yōu)化算法。 Adam (Kingmaand Ba, 2014) 通常是一個好的選擇。很多作者推薦其中某個參與人運(yùn)行更多步驟，但是在 2016 年的年末，本文作者觀點(diǎn)是最好的機(jī)制就是同時梯度下降，每個參與人都是一步。
3.2 代價函數(shù)
有幾種不同的代價函數(shù)可以用在 GANs 框架中。
3.2.1 判別器的代價 J(D)
目前為 GANs 設(shè)計(jì)的所有不同的博弈針對判別器 J(D) 使用了同樣的代價函數(shù)。他們僅僅是生成器 J(G) 的代價函數(shù)不同。
判別器的代價函數(shù)是：
這其實(shí)就是標(biāo)準(zhǔn)的訓(xùn)練一個 sigmoid 輸出的標(biāo)準(zhǔn)的二分類器交叉熵代價。唯一的不同就是分類器在兩個 minibatch 的數(shù)據(jù)上進(jìn)行訓(xùn)練；一個來自數(shù)據(jù)集（其中的標(biāo)簽均是 1），另一個來自生成器（其標(biāo)簽均是 0）。
GAN 博弈的所有版本都期望判別器能夠最小化（8）式。所有情況下，判別器有同樣最優(yōu)策略。讀者現(xiàn)在可以嘗試一下 7.1 節(jié)的練習(xí)并在 8.1 節(jié)可以考到給出的答案。這個練習(xí)展示了如何去推到最優(yōu)的判別器策略并討論了這個解的形式的重要性。
我們發(fā)現(xiàn)通過訓(xùn)練這個判別器，能夠得到一個在每個點(diǎn) x 對下面的比例的估計(jì)：
對其的估計(jì)可以讓我們計(jì)算很多的散度和梯度。這其實(shí)是將 GANs 和變分自編碼器和 Boltzmann machines 區(qū)分開的關(guān)鍵的近似技術(shù)。其他的深度生成式模型基于下界或者 Markov chain 進(jìn)行近似；GANs 基于監(jiān)督學(xué)習(xí)來估計(jì)兩個密度的比例來進(jìn)行近似。GANs 近似受到監(jiān)督學(xué)習(xí)的影響：過匹配或者欠匹配。原則上講，有最好的優(yōu)化技術(shù)和足夠多的訓(xùn)練數(shù)據(jù)，這些影響可以被克服。其他的模型使用不同的近似方法也有對應(yīng)的缺點(diǎn)。
由于 GAN 框架可以被博弈論工具自然地分析，我們稱 GANs “對抗”。但是我們同時也將其看做合作的，因?yàn)榕袆e器估計(jì)密度之間的比例，然后自由地將這個信息分享給了生成器。從這一點(diǎn)看，判別器更加像是一名老師在教生成器如何提升效果。到目前為止，合作博弈的觀點(diǎn)還沒有產(chǎn)生特定的數(shù)學(xué)形式的變化。
3.2.2 Minimax
我們目前僅僅介紹了判別器的代價函數(shù)。而這個博弈需要的完整的說明包含對生成器的代價函數(shù)介紹。
最簡單的博弈版本是零和博弈，其中所有參與人的代價總是 0。在這個版本的博弈中，
因?yàn)?J(G) 和 J(D) 直接捆綁，我們可以將整個博弈通過一個指定判別器收益的值函數(shù)來進(jìn)行刻畫：
Minimax 博弈由于其理論分析的便利，大家都比較喜歡。Goodfellow et al. (2014b) 使用這個 GAN 博弈變體展示了在這個博弈中的學(xué)習(xí)類似于最小化數(shù)據(jù)分布和模型分布 Jensen-Shannon 散度，當(dāng)所有參與人的策略可以在函數(shù)空間直接進(jìn)行更新時，這個博弈將收斂到均衡點(diǎn)。特別地，參與人由深度神經(jīng)網(wǎng)絡(luò)表示，更新則是在參數(shù)空間中，所以這些依賴于凸性（convexity）的結(jié)論不能應(yīng)用。
3.2.3 啟發(fā)式，非飽和博弈
在 minimax 博弈中用在生成器上的代價對理論分析很有用但是在實(shí)踐中表現(xiàn)很糟糕。
最小化目標(biāo)類和分類器預(yù)測的分布的交叉熵是很高效的，因?yàn)榇鷥r不會在分類器有錯誤的輸出的時候飽和。最終代價會飽和到 0，但是僅僅是在分類器選擇了正確的類標(biāo)的情況下。
在 minimax 博弈中，判別器最小化交叉熵，但是生成器是最大化同一個交叉熵。這對于生成器是不利的，因?yàn)榕袆e器成功地以高置信度反對生成器產(chǎn)生的樣本時，生成器的梯度會消失。
為了解決這個問題，一種方式是繼續(xù)使用交叉熵來最小化生成器。不過我們不是去改變判別器代價函數(shù)的正負(fù)號來獲得生成器的代價。我們是將用來構(gòu)造交叉熵代價的目標(biāo)的正負(fù)號。所以，生成器的代價函數(shù)就是：
在 minimax 博弈中，生成器最小化判別器正確的對數(shù)概率。在這個博弈中，生成器最大化判別器錯誤的對數(shù)概率。
這個版本的博弈是啟發(fā)式激發(fā)的想法，而非理論上的考量。而唯一的動機(jī)就是確保每個參與人在他要輸?shù)舨┺臅r有一個更強(qiáng)的梯度。
當(dāng)然，這里已經(jīng)不再是零和博弈了，所以不能被描述成一個單一值函數(shù)。
3.2.4 最大似然博弈
我們可能能夠使用 GANs 進(jìn)行最大似然學(xué)習(xí)，這就意味著可以最小化數(shù)據(jù)和模型之間的 KL 散度，見（4）。
在第 2 節(jié)中，為了簡化模型之間的對比，我們提到 GANs 可以選擇性地實(shí)現(xiàn)最大似然。
有很多中方式能夠使用 GAN 框架來近似（4）式。 Goodfellow (2014) 使用下式：
其中 σ 是 logistic sigmoid 函數(shù)，等價于在假設(shè)判別式最優(yōu)的情形下最小化（4）式。這個等價關(guān)系依照期望的形式成立；實(shí)踐中，對 KL 散度進(jìn)行隨機(jī)梯度下降和GAN 訓(xùn)練過程由于通過采樣（x 為最大似然而 z 為GANs）來構(gòu)造期望梯度將會按照某個方差在真實(shí)的期望梯度附近。這個等價關(guān)系可以作為一個練習(xí)（參見 7.3 節(jié)練習(xí)，8.3 節(jié)答案）。
另外還有一些近似最大似然的方法。比如說 Nowozin et al. (2016).
3.2.5 選擇散度是 GANs 的突出特點(diǎn)么？
作為我們討論 GANs 如何工作的一部分，大家可能想知道什么讓 GANs 能夠產(chǎn)生更好的樣本。
以前，很多人（包括作者本人）相信 GANs 能夠產(chǎn)生清晰真實(shí)的圖片是由于他們最小化了數(shù)據(jù)和模型之間的 Jensen-Shannon 散度而 VAEs 產(chǎn)生模糊的圖片是其最小化 KL 散度 造成的。
KL 散度不是對稱的；最小化 DKL(pdata || pmodel) 和 DKL(pmodel || pdata) 并不相同。最大似然估計(jì)執(zhí)行的是前者，而最小化 Jensen-Shannon 散度某種程度上是后者。正如圖 14 所示，后者可能會期望得到更好的樣本因?yàn)槭褂眠@個散度訓(xùn)練的模型更傾向于生成僅僅來自訓(xùn)練分布的眾數(shù)（mode）樣本即使會忽略一些眾數(shù)，而不是包含所有的眾數(shù)但是生成不來自任何訓(xùn)練數(shù)據(jù)眾數(shù)的一些樣本。
某些更新的證據(jù)表明使用 Jensen-Shannon 散度并沒有解釋為何 GANs 得到更加清晰的圖片：
- 3.2.4 節(jié)提到現(xiàn)在可以使用最大似然來訓(xùn)練 GANs 了。這些模型也能夠產(chǎn)生清晰的樣本，并且也選擇了少量的眾數(shù)。參見圖 15.
- GANs 通常會從極少量的眾數(shù)中選擇生成；小于由模型容量帶來的限制。逆 KL 傾向于生成和模型能夠容納的那么多的數(shù)據(jù)分布的眾數(shù)；一般不會是更少的眾數(shù)。這就意味著眾數(shù)坍縮是由于散度之外的因素導(dǎo)致。
總之，GANs 由于訓(xùn)練過程的問題選擇生成小量的眾數(shù)，并不是選擇最小化的散度導(dǎo)致。在 5.1.1 節(jié)會進(jìn)行討論。GANs 產(chǎn)生更加清晰的樣本的原因還很模糊。可能是使用 GANs 訓(xùn)練的模型族和使用 VAEs 訓(xùn)練的模型族不同（例如，用 GANs 很容易使得模型的 x 有更加復(fù)雜的分布而不僅僅是一個各向同性 isotropic 高斯條件分布在生成器的輸入上）可能是 GANs 的近似的類型有這個不同于其他框架使用的近似導(dǎo)致的效果。
3.2.6 代價函數(shù)的比對
我們可以講生成式網(wǎng)絡(luò)看成是一個特別的強(qiáng)化學(xué)習(xí)。不是被告知一個具體的輸出 x 應(yīng)該被關(guān)聯(lián)上每個 z，生成器采取行動并接受獎勵。特別是，注意到 J(G) 沒有直接引用訓(xùn)練數(shù)據(jù)，所有關(guān)于訓(xùn)練數(shù)據(jù)的信息都僅是從判別器所學(xué)到的獲得。（巧的是，這會讓 GANs 不再害怕過匹配，因?yàn)樯善鞑荒軌蛑苯訌?fù)制訓(xùn)練樣本）學(xué)習(xí)過程和傳統(tǒng)的強(qiáng)化學(xué)習(xí)也有一點(diǎn)差異：
- 生成器能夠同時觀察獎勵函數(shù)的輸出和梯度
- 獎勵函數(shù)不是靜止的，獎勵是基于學(xué)習(xí)生成器策略的變化的判別器的。
在所有的情形中，我們可以將采樣過程看做是從一個特定 z 選擇開始作為一個 可以獲得獎勵的 episode，而獨(dú)立的行動對所有其他的 z 的值進(jìn)行選擇。給于生成器的獎勵就是一個單個標(biāo)量值的函數(shù)，D(G(z))。我們通常將這個用代價（負(fù)的代價）表示。生成器的代價總是在 D(G(z)) 中單調(diào)下降的，但是不同的博弈設(shè)計(jì)成讓這個代價沿著曲線不同的部分下降更快。
圖 16 展示了三個不同 GANs 的作為 D(G(z)) 函數(shù)的代價反應(yīng)曲線。我們看到最大似然博弈結(jié)果是很高方差，大多數(shù)代價梯度來自很少的樣本 z 對于那些更可能是真的樣本。這個啟發(fā)式設(shè)計(jì)的非飽和代價有低的樣本方差，這就可能解釋為何在實(shí)踐中更加成功了。因?yàn)檫@表明方差降低技術(shù)可以成為一個提升 GANs 性能的重要的研究領(lǐng)域，特別是基于最大似然的 GANs。
3.3 DCGAN 架構(gòu)
大多數(shù) GANs 或多或少是基于 DCGAN 架構(gòu)的 (Radford et al., 2015). DCGAN 全稱“deep, convolution GAN”。盡管 GANs 在 DCGANs 前也是深的和卷積的，不過 DCGAN 就用來代表這一類風(fēng)格的架構(gòu)了。DCGAN 架構(gòu)的關(guān)鍵點(diǎn)如下：
- 使用批規(guī)范化 Batch Normalisation，簡稱 BN (Ioffe and Szegedy, 2015) 層，在判別器和生成器中大多數(shù)層是 BN 的，有兩個獨(dú)立的 minibatch。生成器最后一層和判別器的第一層沒有 BN，所以模型可以學(xué)到數(shù)據(jù)分布的正確的均值和尺度。參加圖 17。
- 總體網(wǎng)絡(luò)結(jié)構(gòu)師從 all-convolutional net(Springenberg et al., 2015). 這個架構(gòu)不含有 pooling 或者 unpooling 層。當(dāng)生成器需要增加空間維度是，它使用了 stride 大于 1 的轉(zhuǎn)置卷積。
- 使用 Adam 優(yōu)化器而不是 SGD with momentum
在 DCGANs 前，LAPGANs 是唯一一個能規(guī)劃化到高分辨率圖像的 GAN。LAPGANs 需要一個多步驟生成過程，多個 GANs 產(chǎn)生在一個圖像的 Laplacian 金字塔表示不同細(xì)節(jié)的層。DCGANs 是第一個學(xué)會單步生成高分辨率圖像的 GAN。正如圖 18 所示，DCGANs 在限制的圖像領(lǐng)域能夠產(chǎn)生高質(zhì)量的圖像，比如說臥室的圖像。DCGANs 同樣能夠展示 GANs 學(xué)會以很多有意義的方式來使用他們的隱含編碼，隱含空間中的簡單的算術(shù)運(yùn)算也有了語義上的意義，比如圖 19 所示。
3.4 GANs 和 noise-contrastive 估計(jì)和最大似然有什么關(guān)聯(lián)？
在理解 GANs 工作原理時，大家很自然地想了解他們和 noise contrastive estimation（NCE） (Gutmannand Hyvarinen, 2010)的關(guān)聯(lián)。Minimax GANs 使用 NCE 的代價函數(shù)作為值函數(shù)，所以這兩個方法看起來緊密關(guān)聯(lián)。但實(shí)際上，他們學(xué)到的非常不同的東西，因?yàn)閮蓚€方法關(guān)注博弈中的不同參與人。粗略地說，NCE 的目標(biāo)是學(xué)習(xí)判別器的密度模型，GANs 則是學(xué)習(xí)定義生成器的采樣器。盡管這兩個任務(wù)看起來在相近，其梯度完全不同。令人驚奇的是，最大似然是和 NCE 更為相近的，對應(yīng)于進(jìn)行一個用同樣的值函數(shù)的 minimax 博弈，但是使用啟發(fā)式更新策略而不是對參與人其中之一進(jìn)行梯度下降。這個在圖 20 中進(jìn)行了總結(jié)。
