序言
16年9月的時候我在CSDN發(fā)了一些深度學(xué)習(xí)的文章，主要是面向沒有太多經(jīng)驗的開發(fā)者。達文讀了后覺得我的文章比較通俗易懂，邀請我寫一本書，當(dāng)時頭腦一熱就答應(yīng)下來。雖然現(xiàn)在出版的書籍汗牛充棟，但是對我來說著書立言始終是一件非常嚴肅和重大的事情。立德、立功、立言乃儒家的三不朽，可見古人對于其重視。我的這本書只是關(guān)于深度學(xué)習(xí)的技術(shù)類書籍，遠遠談不上立言，但是總歸會有一些讀者的，因此我希望這本書至少對讀者有一些幫助，而不是誤人子弟。從開始寫下第一個字到現(xiàn)在，前后跨越四年歷時兩年半。一方面是因為工作忙沒有太多時間，但更重要的原因是我希望把它寫得更好一點。寫書的過程也是學(xué)習(xí)的過程，書中的每一篇論文每一行代碼，作者都要求自己完全讀懂，不懂的內(nèi)容絕對不放到書里面。當(dāng)然由于個人水平有限，肯定還是會有很多理解的偏差和疏漏，敬請讀者不吝指教。
市面上關(guān)于深度學(xué)習(xí)的書籍很多，本書最大的特點是理論結(jié)合實戰(zhàn)和內(nèi)容的廣度。現(xiàn)在大家能夠看到的深度學(xué)習(xí)書籍大概可以分為兩類，一類只關(guān)注理論而另一類只關(guān)注應(yīng)用。前者多為一些會議論文集，當(dāng)然也包括Ian Goodfellow和Yoshua Bengio等人的Deep Learning。這類書籍的讀者是專業(yè)的研究者和相關(guān)專業(yè)的學(xué)生，它更多的是關(guān)注基礎(chǔ)理論和最新的前沿進展。這類書籍通常比較難懂，而且讀完之后仍然不知道怎么動手解決問題。而另外一類書籍更關(guān)注應(yīng)用，多為框架工具的介紹，偶爾提及一些理論也是點到而止，在讀者看來各種算法只是一個黑盒子，雖然能跑起來，但是知其然不知其所以然，不知道怎么調(diào)優(yōu)，碰到問題時更加不知道怎么解決。本書的目標是使用通俗易懂的語言來介紹基礎(chǔ)理論和最新的進展，同時也介紹代碼的實現(xiàn)。通過理論與實踐的結(jié)合使讀者更加深入的理解理論知識，同時也把理論知識用于指導(dǎo)實踐。因此本書的一大特點就是每介紹完一個模型都會介紹它的實現(xiàn)，讀者閱讀完一個模型的介紹之后就可以運行、閱讀和修改一下這些代碼，從而可以更加深刻的理解理論知識。
本書第二個比較大的特點就是內(nèi)容的廣度，本書覆蓋聽覺、視覺、語言和強化學(xué)習(xí)四大領(lǐng)域。從章節(jié)的命名讀者也可以看到作者的”野心”，本書覆蓋了深度學(xué)習(xí)的大部分常見應(yīng)用方向。市面上的書大部分只介紹視覺和語言的內(nèi)容，而且一般也只限于CNN用于簡單的圖像分類或者RNN、seq2seq模型在NLP中的應(yīng)用。本書的視覺部分除了介紹CNN以及最新的ResNet和Inception模型之外，還介紹了用于目標檢測的R-CNN、Fast R-CNN、Faster R-CNN模型；用于實例分割的Mask R-CNN模型；用于人臉識別的FaceNet；還包括Neural Style Transfer和GAN(包括DCGAN和Cycle GAN)。語言部分除了很多書都有的RNN/LSTM/GRU等基礎(chǔ)模型，用于機器翻譯、chatbot的seq2seq模型和Attention機制之外還包括最新的ELMo、OpenAI GPT和BERT等模型，此外本書還介紹了NLP的很多經(jīng)典任務(wù)，包括語言模型、詞性標注、成分句法分析、依存句法分析和機器翻譯。除了介紹深度學(xué)習(xí)的解決方案之外也會介紹傳統(tǒng)的基于統(tǒng)計機器學(xué)習(xí)的方法，讓讀者能夠了解這個領(lǐng)域的發(fā)展過程。而聽覺和強化學(xué)習(xí)是目前市面上大部分書都很少提及的內(nèi)容。大家都知道2012年AlexNet在視覺領(lǐng)域的突破，但是深度學(xué)習(xí)最早的突破其實發(fā)生在語音識別方向。本書會詳細介紹經(jīng)典的基于HMM-GMM的語音識別系統(tǒng)，包括基于WFST的解碼器和Kaldi的用法。接著會介紹HMM-DNN系統(tǒng)，然后到最新的End-to-End的語音識別系統(tǒng)，主要會介紹CTC模型，包括CTC用于驗證碼識別的示例和DeepSpeech系統(tǒng)。最后會介紹使用CNN實現(xiàn)簡單的語音關(guān)鍵詞識別，這個簡單的例子在智能設(shè)備上會非常有用。國內(nèi)關(guān)于強化學(xué)習(xí)的書籍不多，因此本書首先用一章的篇幅介紹強化學(xué)習(xí)的基本概念，包括MDP、動態(tài)規(guī)劃、蒙特卡羅方法、TD學(xué)習(xí)和Policy Gradient。接著會介紹DQN、基于深度學(xué)習(xí)的Policy Gradient算法，最后是介紹AlphaGo、AlphaGo Zero和Alpha Zero算法。
當(dāng)然由于時間和作者的水平所限，這些領(lǐng)域都遺漏了很多內(nèi)容，比如聽覺只包括了語音識別，但是沒有語音合成、Music等；深度強化學(xué)習(xí)也沒有最新的Imitation Learning、Inverse Reinforcement Learning和Meta Learning等內(nèi)容。但是讀者在了解了本書的基本概念和基本模型之后，要學(xué)習(xí)更新的內(nèi)容也會比較容易，作者以后有時間和精力也會持續(xù)更新這些內(nèi)容。
最后還包含一章哲學(xué)的內(nèi)容，主要是作者對于人工智能是否可以實現(xiàn)的一些個人觀點。本書的大部分內(nèi)容都是來自別人的知識，最多是加上了我自己的一些理解。如果要在這本書里尋找一點“原創(chuàng)性”內(nèi)容的話，最有可能就是在這一章了。里面有很多荒誕無稽的觀點，但是讀者不妨在飯后茶余當(dāng)成消遣的文章看看也并無太大壞處，看后有什么想法也可以在后面留言和作者交流。
本書的內(nèi)容參考了很多論文、書籍以及開源代碼，感謝他們的工作！作者會盡量在文章加入相關(guān)鏈接，如果原作者認為有版權(quán)問題，請聯(lián)系作者。
由于涉及的內(nèi)容很廣，再加上作者比較啰嗦的寫作方式(作者喜歡閱讀英文書，因為很多英文書的作者把讀者當(dāng)小白，總是不厭其煩的解釋，而大多數(shù)中文書不知道是作者水平太高還是太低，總會有太多”顯然”、”易證”的東西。作者寫書也是假設(shè)讀者什么都不懂，所以會很啰嗦)，所以幾年下來寫的內(nèi)容竟然上千頁。出版社的編輯說這么厚的書得賣多少錢啊，這沒法出版。因此把這本書拆分成了兩本：《深度學(xué)習(xí)理論與實戰(zhàn)：基礎(chǔ)篇》和《深度學(xué)習(xí)理論與實戰(zhàn)：提高篇》。基礎(chǔ)篇已經(jīng)在編輯出版中，預(yù)計年中可以和讀者見面。提高篇則更加專業(yè)，不同的人可能只關(guān)注不同的方向，為了小部分內(nèi)容而購買整本書似乎不合算。所以作者把提高篇免費開放出來，希望對讀者的學(xué)習(xí)和工作有所裨益。本文會持續(xù)更新，敬請關(guān)注！
草稿目錄
下面是《深度學(xué)習(xí)理論與實戰(zhàn)：提高篇》草稿的目錄截圖，感謝ElegantLaTeX免費提供的Latex模板。作者在整理時可能會有所調(diào)整，因此僅供參考。
-
哲學(xué)
- 人工智能能否實現(xiàn)？ 長文慎入！
-
聽覺
-
視覺
-
語言
-
強化學(xué)習(xí)
-
其它
