Abstract

基于深度卷積網(wǎng)絡的模型統(tǒng)治了近來的圖片說明工作；我們研究了遞歸網(wǎng)絡對于序列、圖片等任務是否有效。我們描述了一類可端對端訓練、適用于大規(guī)模圖片理解工作的遞歸卷積網(wǎng)絡，并且證明了用于行為識別、圖片描述、視頻描述的這些模型的值。對比于之前的假定一個固定的圖片表示或者運用簡單的時間序列來進行序列處的模型，遞歸卷積模型學習空間和時間的組合表示“倍增”了。當非線性被引入網(wǎng)絡狀態(tài)更新時，學習長時依賴成為可能。可微的遞歸網(wǎng)絡之所以吸引人，是因為它們能直接將變長輸入（視頻）映射為變長輸出（自然語言文本），能夠模擬復雜的動態(tài)時序；目前能夠通過反向傳播進行優(yōu)化。我們的遞歸序列模型是直接和當前圖片卷積網(wǎng)絡連接的，能夠聯(lián)合訓練以學習動態(tài)時序和卷積表征。本文結(jié)果顯示這樣的模型相對于現(xiàn)有模型在用于單獨定義或優(yōu)化的識別、生成任務上，有明顯優(yōu)勢。

Introduction

圖片、視頻識別和描述是計算機視覺中的基本挑戰(zhàn)。因為有監(jiān)督CNN的使用，圖片識別任務有了迅猛發(fā)展，一系列處理視頻的方法也被提出。理論上講，一個視頻模型能允許處理變長的輸入序列，也能支持變長的輸出，包括全長的語句描述生成（超越了傳統(tǒng)的one-versus-all的預測任務）。本文提出Long-term Recurrent Convolutional Networks (LRCNs),一類用于圖片識別和描述的結(jié)構(gòu)，結(jié)合了卷積層和長時遞歸，同時端對端可訓練。下文將通過特定的視頻行為識別、圖片描述生成、視頻描述任務來實例化網(wǎng)絡。

用于視頻處理的CNN研究考慮了在原始序列數(shù)據(jù)上學習3D時空濾波器，幀到幀的表示學習包含了瞬時光流或者在固定窗、視頻鏡頭段上聚合的機遇軌跡的模型。這種模型探索了兩個感知時序表示學習的極值：要么學習完全通用的時變權(quán)重，要么應用簡單的時間池。跟隨這一推動了目前深度卷積模型發(fā)展的靈感，我們提出了視頻識別和描述模型，既在時間維度上做到深度，也有潛在變量的時間遞歸。RNN模型在“時間上很深”——準確說當他們展開時——形成了隱式的組合描述。在時域上，這種深模型先于現(xiàn)有文獻中的空域卷積模型。

RNN在感知應用上已經(jīng)有數(shù)十年的研究，也有很多不同結(jié)論。簡單RNN模型一個明顯限制是其在時間上嚴格整合狀態(tài)信息，也就是“梯度消失”效應：在實踐中，通過一個長時間間隔去反向傳播誤差信號的能力變得逐漸困難。LSTM單元，也是一個遞歸模塊，能實現(xiàn)長時學習。LSTM單元有隱狀態(tài)增強和非線性機制，通過利用一個簡單的學習過的門限函數(shù)，可以不修改、不更新、不復位地對狀態(tài)進行傳播。LSTM近來也被證明可用于大規(guī)模的語音識別、語言翻譯模型。

本文展示了有遞歸單元的卷積網(wǎng)絡普遍適用于視覺時間序列模型，同時論證了在訓練樣本充足并且可用于學習和改進模型的前提下，LSTM風格的RNN 在已被采用的靜態(tài)、平面的視覺任中，能提供顯著的性能提升。尤其是，本文表明了LSTM類型的網(wǎng)絡在傳統(tǒng)食品行為上能提高識別率，能夠在自然語言描述上從圖像像素級到語義級進行端到端的優(yōu)化映射。本文同時也展示了這些模型能從傳統(tǒng)視覺模型中得來的中間視覺描述去提升描述子的生產(chǎn)。

本文通過3個實驗設置去實例化提出來的模型。第一，傳統(tǒng)卷積模型直接和深LSTM網(wǎng)絡向量，我們能夠訓練捕捉時態(tài)狀態(tài)依賴項的視頻識別模型。然而現(xiàn)有標記的視頻行為數(shù)據(jù)集可能沒有特定的復雜行為的時序動態(tài)，但是我們?nèi)詫鹘y(tǒng)benchmark進行了提升。

第二，我們研究了一個從圖像到語義的端對端可訓練的映射。機器翻譯最近取得了很多成果，這類模型是基于LSTM的編碼-解碼對。我們提出了這個模型的多模型模擬，描述了一個結(jié)構(gòu)，該結(jié)構(gòu)利用圖片的ConvNet去編碼一個深度狀態(tài)向量，一個LSTM解碼該向量為一個自然語言字符串。最終模型能夠用于大規(guī)模圖片和文本數(shù)據(jù)集的端對端訓練，即使是不完全訓練，對比于現(xiàn)有方法，也能得到一個較好的生成結(jié)果。

第三，本文顯示，LSTM解碼器能直接從傳統(tǒng)的預測高級標簽的計算機視覺方法上加以運用，例如語義視頻角色數(shù)組預測。這類模型在結(jié)構(gòu)和性能上優(yōu)于原來的基于統(tǒng)計機器翻譯的方法。

本文方法在Caffe上得到實現(xiàn)，網(wǎng)址是http://jeffdonahue.com/lrcn/

2 Background

傳統(tǒng)循環(huán)神經(jīng)網(wǎng)絡通過將輸入序列映射為隱狀態(tài)-隱狀態(tài)映射為輸出來對動態(tài)時序進行建模，

公式如下：

盡管RNN已被證明在語音識別、文本生成任務上具有出色的表現(xiàn)，但在學習長時的動態(tài)過程中，仍然是難以訓練的，部分原因是"梯度消失"或者"梯度爆炸"，在梯度向循環(huán)網(wǎng)絡反向傳播的過程中，每一個都對應特定的時間步長。LSTM通過集合記憶單元解決這一問題，記憶單元能夠準確指導網(wǎng)絡什么時候"遺忘"之前的隱狀態(tài)、什么時候更新隱狀態(tài)信息。鑒于此，提出了很多記憶單元中的隱藏單元的連接方式。本文使用一個簡化的LSTM單元，

LSTM在語音識別和機器翻譯等任務都取得了一定的成果，和CNN類似，LSTM也可以進行端對端的fine-tune。在語音識別中，消除了通過訓練一個將輸入映射為文本的映射深度雙向LSTM的過程中，對于復雜多步pipeline的需要。即使沒有語言模型或者拼寫詞典，模型也能生成令人信服的文本翻譯。源語言中的語句被一個編碼LSTM映射為隱狀態(tài)，再通過解碼LSTM將隱狀態(tài)映射為目標語言的一個序列。這種“編碼-解碼”的方式能使任意長度的輸入序列映射為不同長度的輸出序列。“流到流”的結(jié)構(gòu)對于機器翻譯來說，規(guī)避了對語言模型的需要。

LSTM對于視覺任務中序列數(shù)據(jù)建模有兩個方面。第一是對于目前被繼承的視覺系統(tǒng)，LSTM模型能直接進行端到端的優(yōu)化。第二，LSTM不受固定長度的輸入或輸出的限制，允許對變長的序列數(shù)據(jù)進行簡單建模，例如文本或者視頻。

3?LONG-TERM RECURRENT CONVOLUTIONAL NETWORK (LRCN) MODEL