過去的一年里，感謝各位Geek朋友們的陪伴 ，也有很多值得梳理記錄的內容~ ~ ~博客WILDML的作者、曾在Google Brain做了一年Resident的Denny Britz，就把他眼中的2017年AI和深度學習的大事，進行了一番梳理匯總。
小編將概要摘錄如下，詳情可前往原文查看：
原文地址：查看
強化學習稱霸人類游戲
如果說2016年AlphaGo擊敗李世乭之后，大家對它的棋壇地位還有些許懷疑的話，2017年擊敗柯潔，讓它成了毫無疑問的圍棋霸主。
作為一個強化學習Agent，它的第一個版本使用了來自人類專家的訓練數據，然后通過自我對局和蒙特卡洛樹搜索的改進來進化。
不久之后，AlphaGo Zero更進一步，使用了之前一篇論文Thinking Fast and Slow with Deep Learning and Tree Search提出的技術，從零開始下圍棋，在訓練中沒有用到人類對局的數據。
如果說2016年AlphaGo擊敗李世乭之后，大家對它的棋壇地位還有些許懷疑的話，2017年擊敗柯潔，讓它成了毫無疑問的圍棋霸主。
作為一個強化學習Agent，它的第一個版本使用了來自人類專家的訓練數據，然后通過自我對局和蒙特卡洛樹搜索的改進來進化。
不久之后，AlphaGo Zero更進一步，使用了之前一篇論文Thinking Fast and Slow with Deep Learning and Tree Search提出的技術，從零開始下圍棋，在訓練中沒有用到人類對局的數據。
相關論文：
AlphaGo
https://storage.googleapis.com/deepmind-media/alphago/AlphaGoNaturePaper.pdf
AlphaGo Zero
https://www.nature.com/articles/nature24270.epdf
AlphaZero
https://arxiv.org/abs/1712.01815
Thinking Fast and Slow with Deep Learning and Tree Search
https://arxiv.org/abs/1705.08439
AI今年取得重大進展的游戲不止圍棋。CMU研究人員的Libratus（冷撲大師）在20天的一對一無限注德州撲克比賽中，擊敗了人類頂級撲克玩家。
再早些時候，查爾斯大學、捷克技術大學和加拿大阿爾伯塔大學開發的DeepStack，首先擊敗了專業德撲玩家。
有一點值得注意，這兩個程序玩的都是一對一撲克，也就是兩名玩家之間的對局，這比多人游戲更容易。2018年，我們很可能看到算法在多玩家撲克上取得一些進步。
Libratus論文：
http://science.sciencemag.org/content/early/2017/12/15/science.aao1733.full
用強化學習玩人類游戲的下一個領域，似乎是更復雜的多人游戲，除了多人撲克之外，還有星際爭霸、DotA等等。DeepMind正在積極研究星際爭霸2，發布了相關的研究環境。
而OpenAI在DotA中單比賽中取得了初步的成功，玩轉5v5游戲，是他們的下一步目標
進化算法回歸
對于監督學習來說，基于梯度的反向傳播算法已經非常好，而且這一點可能短期內不會有什么改變。
然而，在強化學習中，進化策略（Evolution Strategies, ES）似乎正在東山再起。因為強化學習的數據通常不是lid（獨立同分布）的，錯誤信號更加稀疏，而且需要探索，不依賴梯度的算法表現很好。另外，進化算法可以線性擴展到數千臺機器，實現非常快的平行訓練。它們不需要昂貴的GPU，但可以在成百上千便宜的CPU機器上進行訓練。
2017年早些時候，OpenAI的研究人員證明了進化策略實現的性能，可以與Deep Q-Learning等標準強化學習算法相媲美。
相關論文：
https://arxiv.org/abs/1703.03864
年底，Uber內部一個團隊又連發5篇論文，來展示遺傳算法和新穎性搜索的潛力。他們使用非常簡單的遺傳算法，沒有任何梯度信息，學會了玩各種雅達利游戲。他們的進化算法在Frostbite游戲中達到了10500分，而DQN、AC3、ES等算法在同樣的游戲中得分都不到1000。
很可能，2018年我們會在這個方向看到更多的工作。
WaveNets，CNNs以及注意力機制
谷歌的Tacotron 2文本轉語音系統效果令人印象深刻。這個系統基于WaveNet，也是一種自動回歸模型，也被部署于Google Assistant之中，并在過去一年得到快速提升。
遠離昂貴且訓練漫長的回歸架構是一個更大的趨勢。在論文Attention is All you Need里，研究人員完全擺脫了循環和卷積，使用一個更復雜的注意力機制，只用了很小的訓練成本，就達到了目前最先進的結果。
論文地址：https://arxiv.org/abs/1706.03762
深度學習框架這一年
如果非要用一句話總結2017，那只能說是框架之年。
Facebook搞出了PyTorch，這個框架得到了搞自然語言處理的研究人員大愛。
TensorFlow在2017年繼續領跑，目前已經發布到1.4.1版本。除了主框架之外，還發布了多個伴隨庫。TensorFlow團隊還發布了一個全新的eager execution模式，類似PyTorch的動態計算圖。此外：
蘋果發布了CoreML移動機器學習庫；
Uber的一個團隊發布了Pyro，一個深度概率編程語言；
亞馬遜宣布在MXNet上提供更高級別的API Gluon；
Uber發布了內部米開朗基羅機器學習基礎設施平臺的詳情；
由于框架已經太多，Facebook和微軟宣布推出ONNX開放格式，以便跨框架共享深度學習模型。
除了通用的深度學習框架外，我們還看到大量的強化學習框架發布：
OpenAI Roboschool，用于機器人仿真
OpenAI Baselines，一套強化學習算法的高質量實現
Tensorflow Agents，用TensorFlow來訓練RL智能體
Unity ML Agents，研究人員可用Unity Editor來創建游戲，并展開強化訓練
Nervana Coach，用最先進的強化學習算法進行試驗
Facebook ELF，游戲研究平臺
DeepMind Pycolab，定制化的游戲引擎
Geek.ai MAgent，多智能體強化學習平臺
為了讓深度學習更易普及，還有一些面向web的框架，例如谷歌的deeplearn.js和MIL WebDNN執行框架。
2017，還有一個流行框架跟我們告別了，那就是Theano。
學習資源
隨著深度學習和強化學習越來越流行，2017年有越來越多的課程、訓練營等活動舉行并分享到網上。以下是我最愛的一些。
Deep RL Bootcamp，由OpenAI和UC Berkeley聯合主辦，主要講授關于強化學習的基礎知識和最新研究成果
TensorFlow開發者大會上關于深度學習和TensorFlow API相關的內容
幾大學術會議，延續了在網上發布會議內容的新傳統。如果你想趕上最尖端的研究，可以查看這些頂級會議的錄像資料。
NIPS 2017：
https://nips.cc/Conferences/2017/Videos
ICLR 2017：
https://www.facebook.com/pg/iclr.cc/videos/
EMNLP 2017：
https://ku.cloud.panopto.eu/Panopto/Pages/Sessions/List.aspx
研究人員也開始在arXiv上發布低門檻的教程和綜述論文。以下是過去一年我的最愛。
深度強化學習：概述
Deep Reinforcement Learning: An Overview
給工程師的機器學習簡介
A Brief Introduction to Machine Learning for Engineers
神經機器翻譯
教程：神經機器翻譯和序列到序列模型
Neural Machine Translation and Sequence-to-sequence Models: A Tutorial
應用：AI和醫學
2017年，有不少人宣稱用深度學習解決了醫療問題，而且還擊敗了人類專家。這其中有真正的突破，也有一些炒作。對這方面感興趣的話，推薦關注Luke Oakden-Rayner的人類醫生終結系列博客：
https://lukeoakdenrayner.wordpress.com/2017/04/20/the-end-of-human-doctors-introduction/
這里簡要介紹一些發展。其中最重要的事件包括：斯坦福的一個團隊公布了用深度學習識別皮膚癌的算法細節。
相關研究：https://cs.stanford.edu/people/esteva/nature/
另一個斯坦福的團隊則開發了一個模型，能比人類專家更好的發現心律失常。
相關研究：https://stanfordmlgroup.github.io/projects/ecg/
當然也有一些風波。例如DeepMind與NHS之間的問題；NIH發布了一個不適合訓練AI的胸部X光片數據集等等。
應用：藝術和GAN
應用于圖像、音樂、繪圖和視頻領域的生成模型，今年也越來越受到關注。NIPS 2017還首次推出了面向創意與設計的機器學習研討會
最流行的應用之一是谷歌的QuickDraw，使用神經網絡來識別你的涂鴉。基于已經發布的數據集，你甚至可以讓機器幫你畫完草稿。
一起去玩一下：
https://quickdraw.withgoogle.com/
GAN今年取得了不少重大進展。例如CycleGAN、DiscoGAN、StarGAN等新模型在生成人臉方面令人印象深刻。GAN通常難以生成逼真的高分辨率圖像，但pix2pixHD改變了這種現狀。
相關地址：?
CycleGAN
https://arxiv.org/abs/1703.10593
DiscoGAN
https://github.com/carpedm20/DiscoGAN-pytorch
StarGAN
https://github.com/yunjey/StarGAN
應用：無人車
無人車領域的大玩家包括Uber、Lyft、Waymo和Tesla。Uber這一年都麻煩不斷，但是這家公司一直沒有停下在無人車方面的腳步。
Waymo在亞利桑那的鳳凰城進行了一系列無人車實驗，還公布了測試和模擬技術的細節。Lyft正在建立自己的無人車硬件和軟件體系。特斯拉的Autopilot沒有太多更新。
當然還有一個“新的”入局者，庫克證實蘋果公司也在研究自動駕駛。
超酷的研究和應用
今年有很多好玩的項目和展示，這里不可能提及所有：
在研究層面
無監督情緒神經元- 一個可以學習情緒的系統，盡管只被亞馬遜訓練用于預測評論的下一個字符。
學會溝通?-?智能體“開發”了自己的語言。
習得索引結構?- 使用神經網絡優化高速緩存B-Tree。
Attention is All You Need?- Google推出的翻譯架構Transformer完全舍棄了RNN/CNN結構。
Deep Image Prior，圖像去噪、超分辨率和修補。
數據集
神經網絡需要大量的數據，因此開放數據集是對行業的重要貢獻。以下是今年幾個新推出的數據集代表。
Youtube Bounding Boxes
https://research.google.com/youtube-bb
Google QuickDraw Data
https://quickdraw.withgoogle.com/data
DeepMind Open Source Datasets
https://deepmind.com/research/open-source/open-source-datasets
Google Speech Commands Dataset
https://research.googleblog.com/2017/08/launching-speech-commands-dataset.html
Atomic Visual Actions
https://research.google.com/ava/
Several updates to the Open Images data set
https://github.com/openimages/dataset
Nsynth dataset of annotated musical notes
https://magenta.tensorflow.org/datasets/nsynt
Quora Question Pairs
https://data.quora.com/First-Quora-Dataset-Release-Question-Pairs
深度學習，重現性和煉金術
過去一年中，研究人員對學術論文結果的可復現性提出了擔憂。深度學習模型通常依賴于大量的超參數，必須對其進行優化才能獲得足夠好的結果。這種優化代價高昂，可能只有Google和Facebook才能負擔得起。
另外，研究人員并不總是同步公開代碼，論文中有時還會漏掉重要的細節，或者使用特殊的評估方法……這些因素都讓可復現性成為一個大問題。
在論文Are GANs Created Equal? A Large-Scale Study中，使用昂貴的超參數搜索調整GAN，可以擊敗更為復雜的方法。
論文地址：https://arxiv.org/abs/1711.10337
同樣，在論文On the State of the Art of Evaluation in Neural Language Models中，研究人員表明，簡單的LSTM架構在正確調整后，表現就能比最近的多數模型都好。
論文地址：https://arxiv.org/abs/1707.05589
在NIPS 2017大會上，阿里·拉希米稱現在的深度學習就像“煉金術”，呼吁更為嚴謹的學術管理。不過Yann LeCun隨即進行了實名反擊。
加拿大和中國，正在加速AI方面的部署。硬件方面，AI芯片競爭提速，英偉達發布了最新的Titan V旗艦GPU、Google發布了第二代TPU、英特爾的Nervana也發布了新的芯片。就連特斯拉也在開發AI硬件。另外，來自中國的競爭者也不容小覷。
宣傳非常重要，但有些宣傳和實驗室實際發生的事情不符。IBM沃森就是過度營銷的傳奇，并沒有帶來相符的結果。大家都不喜歡沃森，所以他們在醫療方面一再失敗也不奇怪。
Facebook的人工智能發明了自己的語言那事，其實也跟真相不符。這不簡單是媒體的誤導，研究人員所用的標題和摘要也越了界，沒能反映實驗的實際結果。
