Neil Zhu，簡書ID Not_GOD，University AI 創始人 & Chief Scientist，致力于推進世界人工智能化進程。制定并實施 UAI 中長期增長戰略和目標，帶領團隊快速成長為人工智能領域最專業的力量。
作為行業領導者，他和UAI一起在2014年創建了TASA（中國最早的人工智能社團）, DL Center（深度學習知識中心全球價值網絡），AI growth（行業智庫培訓）等，為中國的人工智能人才建設輸送了大量的血液和養分。此外，他還參與或者舉辦過各類國際性的人工智能峰會和活動，產生了巨大的影響力，書寫了60萬字的人工智能精品技術內容，生產翻譯了全球第一本深度學習入門書《神經網絡與深度學習》，生產的內容被大量的專業垂直公眾號和媒體轉載與連載。曾經受邀為國內頂尖大學制定人工智能學習規劃和教授人工智能前沿課程，均受學生和老師好評。

考慮輸入序列或者圖像
考慮上層表示，這一層可以選擇<看哪兒>，通過賦值一個權重或者概率給每個輸入位置，正如一個 MLP 產生輸出那樣，應用在每個位置上：

Paste_Image.png

上圖
問題：使用 RNN 來學習選擇性的注意力怎么樣？你覺得在這個領域什么是最有潛力的方法？
Juergen Schmidhuber 回答說：我認為這是一個非常有趣的話題。人類和其他生物系統使用順序的凝視移動來檢測和識別模式。這個可以變得比全并行的模式識別方法更加高效。據我所知，25年錢，我們已經用了一個使用強化學習訓練出來的神經網絡來順序地注意一幅輸入圖像的相關區域，并使用了適應性的注意力機制來確定關注哪些地方。這個系統使用了一個 RNN 方法在fovea saccades or “glimpses” [1][2] 上來學習目標輸入（這些只是玩具例子——那個時候的計算能力要比現在弱百萬倍）。我們持續研究了這個方法。例如，最近 Marijn Stollenga 和 Jonathan Masci 實現了一個包含反向鏈接的 CNN 學習來控制一個內部的注意力點。Univ. Toronto 和 DeepMind 同樣也在基于注意力的神經網絡[4,5]上發表了文章。當然，RL RNN 在部分可觀測的場景中使用了原始的高維視覺輸入流學習了視覺注意力作為副產品。[6] 我偏愛 [6] 中觀點的通用性，我們在未來應該可以看到這方面更多的推廣。

參考文獻：

[1] J. Schmidhuber and R. Huber. Learning to generate focus trajectories for attentive vision. TR FKI-128-90, TUM, 1990. Images: http://people.idsia.ch/~juergen/attentive.html
[2] J. Schmidhuber and R. Huber. Learning to generate artificial fovea trajectories for target detection. International Journal of Neural Systems, 2(1 & 2):135-141, 1991
[3] M. Stollenga, J. Masci, F. Gomez, J. Schmidhuber. Deep Networks with Internal Selective Attention through Feedback Connections. NIPS 2014
[4] V. Mnih, N. Heess, A. Graves, K. Kavukcuoglu. Recurrent Models of Visual Attention. NIPS 2014.
[5] H. Larochelle and G. Hinton. Learning to combine foveal glimpses with a third-order Boltzmann machine. NIPS 2010.
[6] J. Koutnik, G. Cuccu, J. Schmidhuber, F. Gomez. Evolving Large-Scale Neural Networks for Vision-Based Reinforcement Learning. In Proc. GECCO, Amsterdam, July 2013.http://people.idsia.ch/~juergen/compressednetworksearch.html

問題：你有關于 LSTM 發展方向的想法么，使用這種模型進行的推斷又是怎么樣的？你對 NTM 和 MN 怎么看？

Juergen Schmidhuber 回答說，很高興能夠看到非標準可微的 LSTM 方法的復興，諸如神經圖靈機和記憶網絡。在 1990s 和 2000s，有很多相關的工作。例如：
對 alternative 記憶網絡（神經棧式機器）的可微的 push 和 pop 動作，這些機器也是通用機器，至少在理論上是：

• S. Das, C.L. Giles, G.Z. Sun, "Learning Context Free Grammars: Limitations of a Recurrent Neural Network with an External Stack Memory," Proc. 14th Annual Conf. of the Cog. Sci. Soc., p. 79, 1992.
• Mozer, M. C., & Das, S. (1993). A connectionist symbol manipulator that discovers the structure of context-free languages. NIPS 5 (pp. 863-870).

記憶機器，其中控制網絡的外部可微存儲器存在于另一個網絡的快速權重中：

• J. Schmidhuber. Learning to control fast-weight memories: An alternative to recurrent nets. Neural Computation, 4(1):131-139, 1992

LSTM 忘記門則與這些工作相關：

• F. Gers, N. Schraudolph, J. Schmidhuber. Learning precise timing with LSTM recurrent networks. JMLR 3:115-143, 2002.

帶有特定輸出單元用來 addressing 和以可微的方式快速處理每個 RNN 自身的權重的自指式 RNN （所以這樣的外部存儲實際上是內部的）：

• J. Schmidhuber. An introspective network that can learn to run its own weight change algorithm. In Proc. of the Intl. Conf. on Artificial Neural Networks, Brighton, pages 191-195. IEE, 1993.

相關的基于 LSTM RNN 的系統實際上在實踐中學到了一種學習算法：

• Hochreiter, Sepp; Younger, A. Steven; Conwell, Peter R. (2001). "Learning to Learn Using Gradient Descent". ICANN 2001, 2130: 87–94.