第16章 強化學習
來源：ApacheCN《Sklearn 與 TensorFlow 機器學習實用指南》翻譯項目
校對：@飛龍
強化學習（RL）如今是機器學習的一大令人激動的領域，當然之前也是。自從 1950 年被發明出來后，它在這些年產生了一些有趣的應用，尤其是在游戲（例如 TD-Gammon，一個西洋雙陸棋程序）和及其控制領域，但是從未弄出什么大新聞。直到 2013 年一個革命性的發展：來自英國的研究者發起了一項 Deepmind 項目，這個項目可以學習去玩任何從頭開始的 Atari 游戲，甚至多數比人類玩的還要好，它僅適用像素作為輸入并且沒有游戲規則的任何先驗知識。這是一系列令人驚嘆的壯舉，在 2016 年 3 月以他們的系統阿爾法狗戰勝了世界圍棋冠軍李世石。沒有一個程序能接近這個游戲的主宰，更不用說世界冠軍了。今天，RL 的整個領域正在沸騰著新的想法，其都具有廣泛的應用范圍。DeepMind 在 2014 被谷歌以超過 5 億美元收購。
那么他們是怎么做到的呢？事后看來，原理似乎相當簡單：他們將深度學習運用到強化學習領域，結果卻超越了他們最瘋狂的設想。在本章中，我們將首先解釋強化學習是什么，以及它擅長于什么，然后我們將介紹兩個在深度強化學習領域最重要的技術：策略梯度和深度 Q 網絡（DQN），包括討論馬爾可夫決策過程（MDP）。我們將使用這些技術來訓練一個模型來平衡移動車上的桿子，另一個玩 Atari 游戲。同樣的技術可以用于各種各樣的任務，從步行機器人到自動駕駛汽車。
