Pointer Networks 是發(fā)表在機(jī)器學(xué)習(xí)頂級(jí)會(huì)議NIPS 2015上的一篇文章，其作者分別來(lái)自Google Brain和UC Berkeley。
Pointer Networks 也是一種seq2seq模型。他在attention mechanism的基礎(chǔ)上做了改進(jìn)，克服了seq2seq模型中“輸出嚴(yán)重依賴輸入”的問(wèn)題。
什么是“輸出嚴(yán)重依賴輸入”呢？
論文里舉了個(gè)例子，給定一些二維空間中[0,1]*[1,0]范圍內(nèi)的點(diǎn)，求這些點(diǎn)的凸包（convex hull）。凸包是凸優(yōu)化里的重要概念，含義如下圖所示，通俗來(lái)講，即找到幾個(gè)點(diǎn)能把所有點(diǎn)“包”起來(lái)。比如，模型的輸入是序列{P1,P2,...,P7}，輸出序列是凸包{P2,P4,P3,P5,P6,P7,P2}。到這里，“輸出嚴(yán)重依賴輸入”的意思也就明了了，即輸出{P2,P4,P3,P5,P6,P7,P2}是從輸入序列{P1,P2,...,P7}中提取出來(lái)的。換個(gè)輸入，如{P1,....,P1000}，那么輸出序列就是從{P1,....,P1000}里面選出來(lái)。用論文中的語(yǔ)言來(lái)描述，即{P1,P2,...,P7}和{P1,....,P1000}的凸包，輸出分別依賴于輸入的長(zhǎng)度，兩個(gè)問(wèn)題求解的target class不一樣，一個(gè)是7，另一個(gè)是1000。
從Accuracy一欄可以看到，Ptr-net明顯優(yōu)于LSTM和LSTM+Attention。
為啥叫pointer network呢？
前面說(shuō)到，對(duì)于凸包的求解，就是從輸入序列{P1,....,P1000}中選點(diǎn)的過(guò)程。選點(diǎn)的方法就叫pointer，他不像attetion mechanism將輸入信息通過(guò)encoder整合成context vector，而是將attention轉(zhuǎn)化為一個(gè)pointer，來(lái)選擇原來(lái)輸入序列中的點(diǎn)。
如果你也了解attention的原理，可以看看pointer是如何修改attention的？如果不了解，這一部分就可以跳過(guò)了。
首先搬出attention mechanism的公式，前兩個(gè)公式是整合encoder和decoder的隱式狀態(tài)，學(xué)出來(lái)encoder、decoder隱式狀態(tài)與當(dāng)前輸出的權(quán)重關(guān)系a，然后根據(jù)權(quán)重關(guān)系a和隱式狀態(tài)e得到context vector用來(lái)預(yù)測(cè)下一個(gè)輸出。
Pointer Net沒(méi)有最后一個(gè)公式，即將權(quán)重關(guān)系a和隱式狀態(tài)整合為context vector，而是直接進(jìn)行通過(guò)softmax，指向輸入序列選擇中最有可能是輸出的元素。
2015年以來(lái)，Pointer Net都有哪些用法，在某特定領(lǐng)域，這些概念如何用來(lái)解決實(shí)際問(wèn)題？
要使用好Ptr-net，就要理解Ptr-net的精髓吧。正如上面所提到的一樣，從輸入序列里“提取”一些元素來(lái)輸出。所以，NLP領(lǐng)域有幾種玩法:
文本摘要《Neural Summarization by Extracting Sentences and Words》
信息抽取 《End-to-End Information Extraction without Token-Level Supervision》
句子排序 《End-to-End Neural Sentence Ordering Using Pointer Network》
計(jì)算機(jī)編程 爐石傳說(shuō)的卡片自動(dòng)編程《Latent predictor networks for code generation》
