最近看了”Hierarchical Attention Network for Document Classification”一篇文章，也在網(wǎng)上找了一些資料結(jié)合理解，發(fā)現(xiàn)在此之前有篇文章跟他提出的模型架構(gòu)基本相似，只不過不包含attention機(jī)制：“Document Modeling with Gated Recurrent Neural Network for Sentiment Classification”，也就是說本篇論文是基于這篇論文作了一些改進(jìn)的。所以這里主要結(jié)合兩篇論文進(jìn)行介紹文檔的分層架構(gòu)模型。
第一篇文章主要是使用兩個(gè)神經(jīng)網(wǎng)絡(luò)分別建模句子和文檔，采用一種自下向上的基于向量的文本表示模型。首先使用CNN/LSTM來建模句子表示，接下來使用雙向GRU模型對(duì)句子表示進(jìn)行編碼得到文檔表示，這里論文中提到在情感分類任務(wù)中，GRU往往比RNN效果要好。模型架構(gòu)如下圖所示：
在上圖中，詞向量是從語料庫中使用Word2vec模型訓(xùn)練出來的，保存在詞嵌入矩陣中。然后使用CNN/LSTM模型學(xué)習(xí)句子表示，這里會(huì)將變長(zhǎng)的句子表示成相同維度的向量，以消除句子長(zhǎng)度不同所帶來的不便。也就是說之后的GRU模型的輸入是長(zhǎng)度相同的句子向量。
卷積模型如下圖所示，filter的寬度分別取1，2，3來編碼unigrams，bigrams和trigrams的語義信息。最后使用一個(gè)Average層捕獲全局信息并轉(zhuǎn)化為固定長(zhǎng)度的輸出向量。
接下來進(jìn)行文本層面建模，使用GRU模型，輸入是變長(zhǎng)的句子向量，輸出固定長(zhǎng)度的文本向量，這里會(huì)對(duì)最后每個(gè)單元的輸出向量進(jìn)行取平均操作，雖然會(huì)忽略句子順序的信息，但是相對(duì)來說較為簡(jiǎn)單方便，如下圖所示，其中GNN代表GRU的一個(gè)基礎(chǔ)計(jì)算單元：
接下來我們介紹一下本篇文章的模型架構(gòu)，其實(shí)主要的思想和上面的差不多，也是分層構(gòu)建只不過加上了兩個(gè)Attention層，用于分別對(duì)句子和文檔中的單詞、句子的重要性進(jìn)行建模。其主要思想是，首先考慮文檔的分層結(jié)構(gòu)：?jiǎn)卧~構(gòu)成句子，句子構(gòu)成文檔，所以建模時(shí)也分這兩部分進(jìn)行。其次，不同的單詞和句子具有不同的信息量，不能單純的統(tǒng)一對(duì)待所以引入Attention機(jī)制。而且引入Attention機(jī)制除了提高模型的精確度之外還可以進(jìn)行單詞、句子重要性的分析和可視化，讓我們對(duì)文本分類的內(nèi)部有一定了解。模型主要可以分為下面四個(gè)部分，如下圖所示：
a word sequence encoder,
a word-level attention layer,
a sentence encoder
a sentence-level attention layer.
、
這里對(duì)Attention機(jī)制進(jìn)行一個(gè)補(bǔ)充介紹，可以參考論文“FEED-FORWARD NETWORKS WITH ATTENTION CAN SOLVE SOME LONG -TERM MEMORY PROBLEMS”里面的插圖：
這里的word sequence encoder也是使用的雙向GRU模型，與上篇文章不同。無聊的堆砌一下公式，四個(gè)部分分別對(duì)應(yīng)下面四個(gè)：
Word Encoder：
Word Attention：
Sentence Encoder：
Sentence Attention：
這里不進(jìn)行過多的解釋，主要針對(duì)Attention部分說一下，結(jié)合上圖，我們會(huì)發(fā)現(xiàn)ui是使用一個(gè)簡(jiǎn)單的神經(jīng)網(wǎng)絡(luò)對(duì)hi的隱層表示，然后α是其softmax之后的結(jié)果，然后使用α對(duì)hi進(jìn)行加權(quán)計(jì)算得到最終的輸出向量即可。總結(jié)如下圖：
最后是一個(gè)文本分類層，其實(shí)就是一個(gè)簡(jiǎn)單的softmax，然后目標(biāo)函數(shù)使用負(fù)對(duì)數(shù)似然函數(shù)。
原文參考：http://blog.csdn.net/liuchonge/article/details/73610734
