最美情侣免费观看完整版高清,翁公粗大小莹,貂蝉两只大兔子的动画片

由于簡(jiǎn)書不支持?jǐn)?shù)學(xué)公式，請(qǐng)移步零基礎(chǔ)入門深度學(xué)習(xí)(2) - 線性單元和梯度下降。為了保證最佳閱讀效果，請(qǐng)盡量在電腦上閱讀。

往期回顧

在上一篇文章中，我們已經(jīng)學(xué)會(huì)了編寫一個(gè)簡(jiǎn)單的感知器，并用它來實(shí)現(xiàn)一個(gè)線性分類器。你應(yīng)該還記得用來訓(xùn)練感知器的『感知器規(guī)則』。然而，我們并沒有關(guān)心這個(gè)規(guī)則是怎么得到的。本文通過介紹另外一種『感知器』，也就是『線性單元』，來說明關(guān)于機(jī)器學(xué)習(xí)一些基本的概念，比如模型、目標(biāo)函數(shù)、優(yōu)化算法等等。這些概念對(duì)于所有的機(jī)器學(xué)習(xí)算法來說都是通用的，掌握了這些概念，就掌握了機(jī)器學(xué)習(xí)的基本套路。

線性單元是啥

感知器有一個(gè)問題，當(dāng)面對(duì)的數(shù)據(jù)集不是線性可分的時(shí)候，『感知器規(guī)則』可能無法收斂，這意味著我們永遠(yuǎn)也無法完成一個(gè)感知器的訓(xùn)練。為了解決這個(gè)問題，我們使用一個(gè)可導(dǎo)的線性函數(shù)來替代感知器的階躍函數(shù)，這種感知器就叫做線性單元。線性單元在面對(duì)線性不可分的數(shù)據(jù)集時(shí)，會(huì)收斂到一個(gè)最佳的近似上。

為了簡(jiǎn)單起見，我們可以設(shè)置線性單元的激活函數(shù) $f$ 為

$f(x)=x$

這樣的線性單元如下圖所示

對(duì)比此前我們講過的感知器

這樣替換了激活函數(shù) $f$ 之后，線性單元將返回一個(gè)實(shí)數(shù)值而不是0,1分類。因此線性單元用來解決回歸問題而不是分類問題。

線性單元的模型

當(dāng)我們說模型時(shí)，我們實(shí)際上在談?wù)摳鶕?jù)輸入 $x$ 預(yù)測(cè)輸出 $y$ 的算法。比如， $x$ 可以是一個(gè)人的工作年限， $y$ 可以是他的月薪，我們可以用某種算法來根據(jù)一個(gè)人的工作年限來預(yù)測(cè)他的收入。比如：

$y=h(x)=w*x+b$

函數(shù) $h(x)$ 叫做假設(shè)，而 $w$ 、 $b$ 是它的參數(shù)。我們假設(shè)參數(shù) $w=1000$ ，參數(shù) $b=500$ ，如果一個(gè)人的工作年限是5年的話，我們的模型會(huì)預(yù)測(cè)他的月薪為

$y=h(x)=1000*5+500=5500(元)$

你也許會(huì)說，這個(gè)模型太不靠譜了。是這樣的，因?yàn)槲覀兛紤]的因素太少了，僅僅包含了工作年限。如果考慮更多的因素，比如所處的行業(yè)、公司、職級(jí)等等，可能預(yù)測(cè)就會(huì)靠譜的多。我們把工作年限、行業(yè)、公司、職級(jí)這些信息，稱之為特征。對(duì)于一個(gè)工作了5年，在IT行業(yè)，百度工作，職級(jí)T6這樣的人，我們可以用這樣的一個(gè)特征向量來表示他

$\mathrm{x}$ = (5, IT, 百度, T6)。

既然輸入 $\mathrm{x}$ 變成了一個(gè)具備四個(gè)特征的向量，相對(duì)應(yīng)的，僅僅一個(gè)參數(shù) $w$ 就不夠用了，我們應(yīng)該使用4個(gè)參數(shù) $w_1,w_2,w_3,w_4$ ，每個(gè)特征對(duì)應(yīng)一個(gè)。這樣，我們的模型就變成

$y=h(x)=w_1*x_1+w_2*x_2+w_3*x_3+w_4*x_4+b$

其中， $x_1$ 對(duì)應(yīng)工作年限， $x_2$ 對(duì)應(yīng)行業(yè)， $x_3$ 對(duì)應(yīng)公司， $x_4$ 對(duì)應(yīng)職級(jí)。

為了書寫和計(jì)算方便，我們可以令 $w_0$ 等于 $b$ ，同時(shí)令 $w_0$ 對(duì)應(yīng)于特征 $x_0$ 。由于 $x_0$ 其實(shí)并不存在，我們可以令它的值永遠(yuǎn)為1。也就是說

$b = w_0 * x_0\qquad其中x_0=1$

這樣上面的式子就可以寫成

$\begin{align} y=h(x)&=w_1*x_1+w_2*x_2+w_3*x_3+w_4*x_4+b\\ &=w_0*x_0+w_1*x_1+w_2*x_2+w_3*x_3+w_4*x_4 \end{align}$

我們還可以把上式寫成向量的形式

$y=h(x)=\mathrm{w}^T\mathrm{x}\qquad\qquad(式1)$

長(zhǎng)成這種樣子模型就叫做線性模型，因?yàn)檩敵?img class="math-inline" src="https://math.jianshu.com/math?formula=y" alt="y" mathimg="1">就是輸入特征 $x_1,x_2,x_3,...$ 的線性組合。

監(jiān)督學(xué)習(xí)和無監(jiān)督學(xué)習(xí)

接下來，我們需要關(guān)心的是這個(gè)模型如何訓(xùn)練，也就是參數(shù) $\mathrm{w}$ 取什么值最合適。

機(jī)器學(xué)習(xí)有一類學(xué)習(xí)方法叫做監(jiān)督學(xué)習(xí)，它是說為了訓(xùn)練一個(gè)模型，我們要提供這樣一堆訓(xùn)練樣本：每個(gè)訓(xùn)練樣本既包括輸入特征 $\mathrm{x}$ ，也包括對(duì)應(yīng)的輸出 $y$ ( $y$ 也叫做標(biāo)記，label)。也就是說，我們要找到很多人，我們既知道他們的特征(工作年限，行業(yè)...)，也知道他們的收入。我們用這樣的樣本去訓(xùn)練模型，讓模型既看到我們提出的每個(gè)問題(輸入特征 $\mathrm{x}$ )，也看到對(duì)應(yīng)問題的答案(標(biāo)記 $y$ )。當(dāng)模型看到足夠多的樣本之后，它就能總結(jié)出其中的一些規(guī)律。然后，就可以預(yù)測(cè)那些它沒看過的輸入所對(duì)應(yīng)的答案了。

另外一類學(xué)習(xí)方法叫做無監(jiān)督學(xué)習(xí)，這種方法的訓(xùn)練樣本中只有 $\mathrm{x}$ 而沒有 $y$ 。模型可以總結(jié)出特征 $\mathrm{x}$ 的一些規(guī)律，但是無法知道其對(duì)應(yīng)的答案 $y$ 。

很多時(shí)候，既有 $\mathrm{x}$ 又有 $y$ 的訓(xùn)練樣本是很少的，大部分樣本都只有 $\mathrm{x}$ 。比如在語(yǔ)音到文本(STT)的識(shí)別任務(wù)中， $\mathrm{x}$ 是語(yǔ)音， $y$ 是這段語(yǔ)音對(duì)應(yīng)的文本。我們很容易獲取大量的語(yǔ)音錄音，然而把語(yǔ)音一段一段切分好并標(biāo)注上對(duì)應(yīng)文字則是非常費(fèi)力氣的事情。這種情況下，為了彌補(bǔ)帶標(biāo)注樣本的不足，我們可以用無監(jiān)督學(xué)習(xí)方法先做一些聚類，讓模型總結(jié)出哪些音節(jié)是相似的，然后再用少量的帶標(biāo)注的訓(xùn)練樣本，告訴模型其中一些音節(jié)對(duì)應(yīng)的文字。這樣模型就可以把相似的音節(jié)都對(duì)應(yīng)到相應(yīng)文字上，完成模型的訓(xùn)練。

線性單元的目標(biāo)函數(shù)

現(xiàn)在，讓我們只考慮監(jiān)督學(xué)習(xí)。

在監(jiān)督學(xué)習(xí)下，對(duì)于一個(gè)樣本，我們知道它的特征 $\mathrm{x}$ ，以及標(biāo)記 $y$ 。同時(shí)，我們還可以根據(jù)模型 $h(x)$ 計(jì)算得到輸出 $\overline{y}$ 。注意這里面我們用 $y$ 表示訓(xùn)練樣本里面的標(biāo)記，也就是實(shí)際值；用帶上劃線的 $\overline{y}$ 表示模型計(jì)算的出來的預(yù)測(cè)值。我們當(dāng)然希望模型計(jì)算出來的 $\overline{y}$ 和 $y$ 越接近越好。

數(shù)學(xué)上有很多方法來表示的 $\overline{y}$ 和 $y$ 的接近程度，比如我們可以用 $\overline{y}$ 和 $y$ 的差的平方的 $\frac{1}{2}$ 來表示它們的接近程度

$e=\frac{1}{2}(y-\overline{y})^2$

我們把 $e$ 叫做單個(gè)樣本的誤差。至于為什么前面要乘 $\frac{1}{2}$ ，是為了后面計(jì)算方便。

訓(xùn)練數(shù)據(jù)中會(huì)有很多樣本，比如 $N$ 個(gè)，我們可以用訓(xùn)練數(shù)據(jù)中所有樣本的誤差的和，來表示模型的誤差 $E$ ，也就是

$E=e^{(1)}+e^{(2)}+e^{(3)}+...+e^{(n)}$

上式的 $e^{(1)}$ 表示第一個(gè)樣本的誤差， $e^{(2)}$ 表示第二個(gè)樣本的誤差......。

我們還可以把上面的式子寫成和式的形式。使用和式，不光書寫起來簡(jiǎn)單，逼格也跟著暴漲，一舉兩得。所以一定要寫成下面這樣

$\begin{align} E&=e^{(1)}+e^{(2)}+e^{(3)}+...+e^{(n)}\\ &=\sum_{i=1}^{n}e^{(i)}\\ &=\frac{1}{2}\sum_{i=1}^{n}(y^{(i)}-\overline{y}^{(i)})^2\qquad\qquad(式2) \end{align}$

其中

$\begin{align} \overline{y}^{(i)}&=h(\mathrm{x}^{(i)})\\ &=\mathrm{w}^T\mathrm{x^{(i)}} \end{align}$

(式2)中， $x^{(i)}$ 表示第 $i$ 個(gè)訓(xùn)練樣本的特征， $y^{(i)}$ 表示第 $i$ 個(gè)樣本的標(biāo)記，我們也可以用元組 $(x^{(i)},y^{(i)})$ 表示第 $i$ 訓(xùn)練樣本。 $\overline{y}^{(i)}$ 則是模型對(duì)第 $i$ 個(gè)樣本的預(yù)測(cè)值。

我們當(dāng)然希望對(duì)于一個(gè)訓(xùn)練數(shù)據(jù)集來說，誤差最小越好，也就是(式2)的值越小越好。對(duì)于特定的訓(xùn)練數(shù)據(jù)集來說， $(x^{(i)},y^{(i)})$ 的值都是已知的，所以(式2)其實(shí)是參數(shù) $\mathrm{w}$ 的函數(shù)。

$\begin{align} E(\mathrm{w})&=\frac{1}{2}\sum_{i=1}^{n}(y^{(i)}-\overline{y}^{(i)})^2\\ &=\frac{1}{2}\sum_{i=1}^{n}(\mathrm{y^{(i)}-\mathrm{w}^Tx^{(i)}})^2 \end{align}$

由此可見，模型的訓(xùn)練，實(shí)際上就是求取到合適的 $\mathrm{w}$ ，使(式2)取得最小值。這在數(shù)學(xué)上稱作優(yōu)化問題，而 $E(\mathrm{w})$ 就是我們優(yōu)化的目標(biāo)，稱之為目標(biāo)函數(shù)。

梯度下降優(yōu)化算法

大學(xué)時(shí)我們學(xué)過怎樣求函數(shù)的極值。函數(shù) $y=f(x)$ 的極值點(diǎn)，就是它的導(dǎo)數(shù) $f'(x)=0$ 的那個(gè)點(diǎn)。因此我們可以通過解方程 $f'(x)=0$ ，求得函數(shù)的極值點(diǎn) $(x_0,y_0)$ 。

不過對(duì)于計(jì)算機(jī)來說，它可不會(huì)解方程。但是它可以憑借強(qiáng)大的計(jì)算能力，一步一步的去把函數(shù)的極值點(diǎn)『試』出來。如下圖所示：

首先，我們隨便選擇一個(gè)點(diǎn)開始，比如上圖的 $x_0$ 點(diǎn)。接下來，每次迭代修改 $x$ 的為 $x_1,x_2,x_3,...$ ，經(jīng)過數(shù)次迭代后最終達(dá)到函數(shù)最小值點(diǎn)。

你可能要問了，為啥每次修改 $x$ 的值，都能往函數(shù)最小值那個(gè)方向前進(jìn)呢？這里的奧秘在于，我們每次都是向函數(shù) $y=f(x)$ 的梯度的相反方向來修改 $x$ 。什么是梯度呢？翻開大學(xué)高數(shù)課的課本，我們會(huì)發(fā)現(xiàn)梯度是一個(gè)向量，它指向函數(shù)值上升最快的方向。顯然，梯度的反方向當(dāng)然就是函數(shù)值下降最快的方向了。我們每次沿著梯度相反方向去修改 $x$ 的值，當(dāng)然就能走到函數(shù)的最小值附近。之所以是最小值附近而不是最小值那個(gè)點(diǎn)，是因?yàn)槲覀兠看我苿?dòng)的步長(zhǎng)不會(huì)那么恰到好處，有可能最后一次迭代走遠(yuǎn)了越過了最小值那個(gè)點(diǎn)。步長(zhǎng)的選擇是門手藝，如果選擇小了，那么就會(huì)迭代很多輪才能走到最小值附近；如果選擇大了，那可能就會(huì)越過最小值很遠(yuǎn)，收斂不到一個(gè)好的點(diǎn)上。

按照上面的討論，我們就可以寫出梯度下降算法的公式

$\mathrm{x}_{new}=\mathrm{x}_{old}-\eta\nabla{f(x)}$

其中， $\nabla$ 是梯度算子， $\nabla{f(x)}$ 就是指 $f(x)$ 的梯度。 $\eta$ 是步長(zhǎng)，也稱作學(xué)習(xí)速率。

對(duì)于上一節(jié)列出的目標(biāo)函數(shù)(式2)

$E(\mathrm{w})=\frac{1}{2}\sum_{i=1}^{n}(\mathrm{y^{(i)}-\overline{y}^{(i)}})^2$

梯度下降算法可以寫成

$\mathrm{w}_{new}=\mathrm{w}_{old}-\eta\nabla{E(\mathrm{w})}$

聰明的你應(yīng)該能想到，如果要求目標(biāo)函數(shù)的最大值，那么我們就應(yīng)該用梯度上升算法，它的參數(shù)修改規(guī)則是

$\mathrm{w}_{new}=\mathrm{w}_{old}+\eta\nabla{E(\mathrm{w})}$

下面，請(qǐng)先做幾次深呼吸，讓你的大腦補(bǔ)充足夠的新鮮的氧氣，我們要來求取 $\nabla{E}(\mathrm{w})$ ，然后帶入上式，就能得到線性單元的參數(shù)修改規(guī)則。

關(guān)于 $\nabla{E(\mathrm{w})}$ 的推導(dǎo)過程，我單獨(dú)把它們放到一節(jié)中。您既可以選擇慢慢看，也可以選擇無視。在這里，您只需要知道，經(jīng)過一大串推導(dǎo)，目標(biāo)函數(shù) $E(w)$ 的梯度是

$\nabla{E(\mathrm{w})}=-\sum_{i=1}^{n}(y^{(i)}-\overline{y}^{(i)})\mathrm{x}^{(i)}$

因此，線性單元的參數(shù)修改規(guī)則最后是這個(gè)樣子

$\mathrm{w}_{new}=\mathrm{w}_{old}+\eta\sum_{i=1}^{n}(y^{(i)}-\overline{y}^{(i)})\mathrm{x}^{(i)}\qquad\qquad(式3)$

有了上面這個(gè)式子，我們就可以根據(jù)它來寫出訓(xùn)練線性單元的代碼了。

需要說明的是，如果每個(gè)樣本有M個(gè)特征，則上式中的 $\mathrm{x},\mathrm{w}$ 都是M+1維向量(因?yàn)槲覀兗由狭艘粋€(gè)恒為1的虛擬特征 $x_0$ ，參考前面的內(nèi)容)，而 $y$ 是標(biāo)量。用高逼格的數(shù)學(xué)符號(hào)表示，就是

$\mathrm{x},\mathrm{w}\in\Re^{(M+1)}\\ y\in\Re^1$

為了讓您看明白說的是啥，我吐血寫下下面這個(gè)解釋(寫這種公式可累可累了)。因?yàn)?img class="math-inline" src="https://math.jianshu.com/math?formula=%5Cmathrm%7Bw%7D%2C%5Cmathrm%7Bx%7D" alt="\mathrm{w},\mathrm{x}" mathimg="1">是M+1維列向量，所以(式3)可以寫成

$\begin{bmatrix} w_0 \\ w_1 \\ w_2 \\ ... \\ w_m \\ \end{bmatrix}_{new}= \begin{bmatrix} w_0 \\ w_1 \\ w_2 \\ ... \\ w_m \\ \end{bmatrix}_{old}+\eta\sum_{i=1}^{n}(y^{(i)}-\overline{y}^{(i)}) \begin{bmatrix} 1 \\ x_1^{(i)} \\ x_2^{(i)} \\ ... \\ x_m^{(i)} \\ \end{bmatrix}$

如果您還是沒看明白，建議您也吐血再看一下大學(xué)時(shí)學(xué)過的《線性代數(shù)》吧。

$\nabla{E}(\mathrm{w})$ 的推導(dǎo)

這一節(jié)你盡可以跳過它，并不太會(huì)影響到全文的理解。當(dāng)然如果你非要弄明白每個(gè)細(xì)節(jié)，那恭喜你騷年，機(jī)器學(xué)習(xí)的未來一定是屬于你的。

首先，我們先做一個(gè)簡(jiǎn)單的前戲。我們知道函數(shù)的梯度的定義就是它相對(duì)于各個(gè)變量的偏導(dǎo)數(shù)，所以我們寫下下面的式子

$\begin{align} \nabla{E(\mathrm{w})}&=\frac{\partial}{\partial\mathrm{w}}E(\mathrm{w})\\ &=\frac{\partial}{\partial\mathrm{w}}\frac{1}{2}\sum_{i=1}^{n}(y^{(i)}-\overline{y}^{(i)})^2\\ \end{align}$

可接下來怎么辦呢？我們知道和的導(dǎo)數(shù)等于導(dǎo)數(shù)的和，所以我們可以先把求和符號(hào) $\sum$ 里面的導(dǎo)數(shù)求出來，然后再把它們加在一起就行了，也就是

$\begin{align} &\frac{\partial}{\partial\mathrm{w}}\frac{1}{2}\sum_{i=1}^{n}(y^{(i)}-\overline{y}^{(i)})^2\\ =&\frac{1}{2}\sum_{i=1}^{n}\frac{\partial}{\partial\mathrm{w}}(y^{(i)}-\overline{y}^{(i)})^2\\ \end{align}$

現(xiàn)在我們可以不管高大上的 $\sum$ 了，先專心把里面的導(dǎo)數(shù)求出來。

$\begin{align} &\frac{\partial}{\partial\mathrm{w}}(y^{(i)}-\overline{y}^{(i)})^2\\ =&\frac{\partial}{\partial\mathrm{w}}(y^{(i)2}-2\overline{y}^{(i)}y^{(i)}+\overline{y}^{(i)2})\\ \end{align}$

我們知道， $y$ 是與 $\mathrm{w}$ 無關(guān)的常數(shù)，而 $\overline{y}=\mathrm{w}^T\mathrm{x}$ ，下面我們根據(jù)鏈?zhǔn)角髮?dǎo)法則來求導(dǎo)(上大學(xué)時(shí)好像叫復(fù)合函數(shù)求導(dǎo)法則)

$\frac{\partial{E(\mathrm{w})}}{\partial\mathrm{w}}=\frac{\partial{E(\overline{y})}}{\partial\overline{y}}\frac{\partial{\overline{y}}}{\partial\mathrm{w}}$

我們分別計(jì)算上式等號(hào)右邊的兩個(gè)偏導(dǎo)數(shù)

$\begin{align} \frac{\partial{E(\mathrm{w})}}{\partial\overline{y}}= &\frac{\partial}{\partial\overline{y}}(y^{(i)2}-2\overline{y}^{(i)}y^{(i)}+\overline{y}^{(i)2})\\ =&-2y^{(i)}+2\overline{y}^{(i)}\\\\ \frac{\partial{\overline{y}}}{\partial\mathrm{w}}= &\frac{\partial}{\partial\mathrm{w}}\mathrm{w}^T\mathrm{x}\\ =&\mathrm{x} \end{align}$

代入，我們求得 $\sum$ 里面的偏導(dǎo)數(shù)是

$\begin{align} &\frac{\partial}{\partial\mathrm{w}}(y^{(i)}-\overline{y}^{(i)})^2\\ =&2(-y^{(i)}+\overline{y}^{(i)})\mathrm{x} \end{align}$

最后代入 $\nabla{E}(\mathrm{w})$ ，求得

$\begin{align} \nabla{E(\mathrm{w})}&=\frac{1}{2}\sum_{i=1}^{n}\frac{\partial}{\partial\mathrm{w}}(y^{(i)}-\overline{y}^{(i)})^2\\ &=\frac{1}{2}\sum_{i=1}^{n}2(-y^{(i)}+\overline{y}^{(i)})\mathrm{x}\\ &=-\sum_{i=1}^{n}(y^{(i)}-\overline{y}^{(i)})\mathrm{x} \end{align}$

至此，大功告成。

隨機(jī)梯度下降算法(Stochastic Gradient Descent, SGD)

如果我們根據(jù)(式3)來訓(xùn)練模型，那么我們每次更新 $\mathrm{w}$ 的迭代，要遍歷訓(xùn)練數(shù)據(jù)中所有的樣本進(jìn)行計(jì)算，我們稱這種算法叫做批梯度下降(Batch Gradient Descent)。如果我們的樣本非常大，比如數(shù)百萬(wàn)到數(shù)億，那么計(jì)算量異常巨大。因此，實(shí)用的算法是SGD算法。在SGD算法中，每次更新 $\mathrm{w}$ 的迭代，只計(jì)算一個(gè)樣本。這樣對(duì)于一個(gè)具有數(shù)百萬(wàn)樣本的訓(xùn)練數(shù)據(jù)，完成一次遍歷就會(huì)對(duì) $\mathrm{w}$ 更新數(shù)百萬(wàn)次，效率大大提升。由于樣本的噪音和隨機(jī)性，每次更新 $\mathrm{w}$ 并不一定按照減少 $E$ 的方向。然而，雖然存在一定隨機(jī)性，大量的更新總體上沿著減少 $E$ 的方向前進(jìn)的，因此最后也能收斂到最小值附近。下圖展示了SGD和BGD的區(qū)別

如上圖，橢圓表示的是函數(shù)值的等高線，橢圓中心是函數(shù)的最小值點(diǎn)。紅色是BGD的逼近曲線，而紫色是SGD的逼近曲線。我們可以看到BGD是一直向著最低點(diǎn)前進(jìn)的，而SGD明顯躁動(dòng)了許多，但總體上仍然是向最低點(diǎn)逼近的。

最后需要說明的是，SGD不僅僅效率高，而且隨機(jī)性有時(shí)候反而是好事。今天的目標(biāo)函數(shù)是一個(gè)『凸函數(shù)』，沿著梯度反方向就能找到全局唯一的最小值。然而對(duì)于非凸函數(shù)來說，存在許多局部最小值。隨機(jī)性有助于我們逃離某些很糟糕的局部最小值，從而獲得一個(gè)更好的模型。

實(shí)現(xiàn)線性單元

接下來，讓我們擼一把代碼。

因?yàn)槲覀円呀?jīng)寫了感知器的代碼，因此我們先比較一下感知器模型和線性單元模型，看看哪些代碼能夠復(fù)用。

算法	感知器	線性單元
模型 $h(x)$	$y=f(\mathrm{w}^T\mathrm{x})\\f(z)=\begin{equation}\begin{cases}1\qquad z>0\\0\qquad otherwise\end{cases}\end{equation}$	$y=f(\mathrm{w}^T\mathrm{x})\\f(z)=z$
訓(xùn)練規(guī)則	$\mathrm{w}\gets\mathrm{w}+\eta(y-\overline{y})\mathrm{x}$	$\mathrm{w}\gets\mathrm{w}+\eta(y-\overline{y})\mathrm{x}$

比較的結(jié)果令人震驚，原來除了激活函數(shù) $f$ 不同之外，兩者的模型和訓(xùn)練規(guī)則是一樣的(在上表中，線性單元的優(yōu)化算法是SGD算法)。那么，我們只需要把感知器的激活函數(shù)進(jìn)行替換即可。感知器的代碼請(qǐng)參考上一篇文章零基礎(chǔ)入門深度學(xué)習(xí)(1) - 感知器，這里就不再重復(fù)了。對(duì)于一個(gè)養(yǎng)成良好習(xí)慣的程序員來說，重復(fù)代碼是不可忍受的。大家應(yīng)該把代碼保存在一個(gè)代碼庫(kù)中(比如git)。

from perceptron import Perceptron

#定義激活函數(shù)f
f = lambda x: x

class LinearUnit(Perceptron):
    def __init__(self, input_num):
        '''初始化線性單元，設(shè)置輸入?yún)?shù)的個(gè)數(shù)'''
        Perceptron.__init__(self, input_num, f)

通過繼承Perceptron，我們僅用幾行代碼就實(shí)現(xiàn)了線性單元。這再次證明了面向?qū)ο缶幊谭妒降膹?qiáng)大。

接下來，我們用簡(jiǎn)單的數(shù)據(jù)進(jìn)行一下測(cè)試。

def get_training_dataset():
    '''
    捏造5個(gè)人的收入數(shù)據(jù)
    '''
    # 構(gòu)建訓(xùn)練數(shù)據(jù)
    # 輸入向量列表，每一項(xiàng)是工作年限
    input_vecs = [[5], [3], [8], [1.4], [10.1]]
    # 期望的輸出列表，月薪，注意要與輸入一一對(duì)應(yīng)
    labels = [5500, 2300, 7600, 1800, 11400]
    return input_vecs, labels    


def train_linear_unit():
    '''
    使用數(shù)據(jù)訓(xùn)練線性單元
    '''
    # 創(chuàng)建感知器，輸入?yún)?shù)的特征數(shù)為1（工作年限）
    lu = LinearUnit(1)
    # 訓(xùn)練，迭代10輪, 學(xué)習(xí)速率為0.01
    input_vecs, labels = get_training_dataset()
    lu.train(input_vecs, labels, 10, 0.01)
    #返回訓(xùn)練好的線性單元
    return lu


if __name__ == '__main__': 
    '''訓(xùn)練線性單元'''
    linear_unit = train_linear_unit()
    # 打印訓(xùn)練獲得的權(quán)重
    print linear_unit
    # 測(cè)試
    print 'Work 3.4 years, monthly salary = %.2f' % linear_unit.predict([3.4])
    print 'Work 15 years, monthly salary = %.2f' % linear_unit.predict([15])
    print 'Work 1.5 years, monthly salary = %.2f' % linear_unit.predict([1.5])
    print 'Work 6.3 years, monthly salary = %.2f' % linear_unit.predict([6.3])

程序運(yùn)行結(jié)果如下圖

擬合的直線如下圖

小結(jié)

事實(shí)上，一個(gè)機(jī)器學(xué)習(xí)算法其實(shí)只有兩部分

模型從輸入特征 $\mathrm{x}$ 預(yù)測(cè)輸入 $y$ 的那個(gè)函數(shù) $h(x)$
目標(biāo)函數(shù) 目標(biāo)函數(shù)取最小(最大)值時(shí)所對(duì)應(yīng)的參數(shù)值，就是模型的參數(shù)的最優(yōu)值。很多時(shí)候我們只能獲得目標(biāo)函數(shù)的局部最小(最大)值，因此也只能得到模型參數(shù)的局部最優(yōu)值。

因此，如果你想最簡(jiǎn)潔的介紹一個(gè)算法，列出這兩個(gè)函數(shù)就行了。

接下來，你會(huì)用優(yōu)化算法去求取目標(biāo)函數(shù)的最小(最大)值。[隨機(jī)]梯度{下降|上升}算法就是一個(gè)優(yōu)化算法。針對(duì)同一個(gè)目標(biāo)函數(shù)，不同的優(yōu)化算法會(huì)推導(dǎo)出不同的訓(xùn)練規(guī)則。我們后面還會(huì)講其它的優(yōu)化算法。

其實(shí)在機(jī)器學(xué)習(xí)中，算法往往并不是關(guān)鍵，真正的關(guān)鍵之處在于選取特征。選取特征需要我們?nèi)祟悓?duì)問題的深刻理解，經(jīng)驗(yàn)、以及思考。而神經(jīng)網(wǎng)絡(luò)算法的一個(gè)優(yōu)勢(shì)，就在于它能夠自動(dòng)學(xué)習(xí)到應(yīng)該提取什么特征，從而使算法不再那么依賴人類，而這也是神經(jīng)網(wǎng)絡(luò)之所以吸引人的一個(gè)方面。

現(xiàn)在，經(jīng)過漫長(zhǎng)的燒腦，你已經(jīng)具備了學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的必備知識(shí)。下一篇文章，我們將介紹本系列文章的主角：神經(jīng)網(wǎng)絡(luò)，以及用來訓(xùn)練神經(jīng)網(wǎng)絡(luò)的大名鼎鼎的算法：反向傳播算法。至于現(xiàn)在，我們應(yīng)該暫時(shí)忘記一切，盡情獎(jiǎng)勵(lì)自己一下吧。

參考資料

Tom M. Mitchell, "機(jī)器學(xué)習(xí)", 曾華軍等譯, 機(jī)械工業(yè)出版社

三个男躁一个女,国精产品一区一手机的秘密,麦子交换系列最经典十句话,欧美国产综合欧美视频

零基礎(chǔ)入門深度學(xué)習(xí)(2) - 線性單元和梯度下降

零基礎(chǔ)入門深度學(xué)習(xí)(2) - 線性單元和梯度下降

往期回顧