用于跨模式檢索的自監督對抗哈希網絡

摘要

由于深入學習的成功，跨模式檢索最近取得了顯著的進展。然而，仍然存在著一個關鍵的瓶頸：如何彌合情態差異，進一步提高檢索的準確性。在本文中，我們提出了一種自我監督的對抗性散列（SSAH）方法，它是早期嘗試將對抗性學習以自我監督的方式納入跨模式散列的方法之一。這項工作的主要貢獻是利用兩個敵對網絡來最大化不同方式之間的相互關系和一致性。此外，我們還利用自監督語義網絡以多標簽注釋的形式發現高級語義信息。這些信息指導了特征學習過程，并保持了公共需求空間和漢明斯空間之間的模式關系。在三個基準數據集上進行的大量實驗驗證了所提出的SSAH優于最先進的方法。

1，簡介

由于爆炸性增加來自各種搜索引擎和社交媒體的多元數據，近年來交叉模式檢索已經成為一個引人注目的話題[20,21,22,23,24,25,39,35,36,41,42,45]。跨模態檢索旨在通過使用來自另一模態（例如，文本）的查詢在一種模態（例如，圖像）中搜索語義上相似的實例。為了滿足實際應用中低存儲成本和高查詢速度的要求，哈希在跨模態檢索領域備受關注，它將高維多模態數據映射到公共哈希中。給出類似的交叉模態項類似的哈希碼。由于來自不同形態的實例在其特征表示和分布（即，它們的模態差）方面是異常的，因此有必要在足夠的細節中探索它們的語義相關性以橋接該模態差距。大多數現有的淺交叉模態哈希方法（無人監督[2,10,14,18]和監督設置[7,17,19,26,30,40,33]）總是捕捉到共同漢明的語義相關性空間。與無監督的對應物相比，監督的跨模式哈希方法通過開發語義標簽或關于相關性的信息可以實現最高性能，從而提取跨模態相關性。然而，幾乎所有這些存在于交叉模態下的方法都是基于手工制作的特征，這可能會限制實例的辨別表示，從而降低學習二進制哈希碼的準確性。
近年來，深度學習已經成為非常成功的，可以用于各種應用[1] [13]。然而，只有少數作品對跨模態哈希[3,9,12,31,43]進行了深度學習，這可以更有效地捕捉跨模態實例之間的非線性相關性。值得注意的是，仍然存在一些阻礙當前深度跨模式散列方法的常見缺點。首先，這些方法簡單直接地采用單類標簽來衡量跨模態的語義相關性[9] [12]。實際上，在標準的跨模式基準數據集（如NUS-WIDE [6]和Microsoft COCO [15]）中，可以將圖像實例分配給多個類別標簽[27]，這是有益的，因為它允許描述語義相關性跨越不同的方式更準確。其次，這些方法通過用相應的預定義損失函數約束相應的哈希碼來實現模態差距[4]。代碼長度通常小于128位。這意味著大多數有用信息被中和，使得哈希碼無法捕獲相關的模態一致性。相比之下，高維模態特征包含更豐富的信息，有助于彌合模態差距。因此，如何鼓勵更豐富的語義相關性并建立更準確的模態關系對于在現實世界檢索應用中實現令人滿意的性能變得至關重要。
圖1：我們提出的SSAH框架。
在本文中，我們提出了一種新的自我監督的對抗性散列（SSAH）方法來幫助進行跨模態檢索。具體而言，我們采用兩個對抗網絡來共同學習高維特征及其相應的差異模式。在時間上，一個自我監督的語義網絡被無縫集成，以多個標記的形式發現語義信息，其中監督頭部學習，以最大化語義相關性和模態之間的特征分布一致性。我們工作的重點可概括如下：
?我們提出了一種新的自我監督的對抗性哈希方法，用于跨模態檢索。據我們所知，這是利用對抗性學習的第一次嘗試，旨在解決跨模式哈希問題。
?我們將自我監督的語義學習與對抗性學習相結合，以盡可能地保持語義相關性和跨模態的表示一致性。通過這種方式，我們可以有效地彌合模態差距。
?對三個基準數據集進行的大量實驗表明，我們提出的SSAH明顯優于當前最先進的交叉模式方法，包括傳統和基于深度學習的方法。
本文的其余部分安排如下。第2節介紹了相關的工作重點模型。我們提出的SSAH模型和學習算法在第3節中給出。實驗見第4節，第5節結束這項工作。

2.相關工作

跨模態散列方法可大致分為無監督和監督設置。無監督散列方法[8,34,38,46]通過發現屬于未標記訓練數據的模態和模態內信息來學習散列函數。丁等人。 [8]通過使用潛在因子模型執行矩陣分解來學習單一二進制代碼。 Song等人的工作。 [34]學習可以將不同形態的特征映射到共同漢明空間的函數。 Supervisedhashingmethods [2,4,14,16,39,40,44]旨在利用可用的監督信息（例如標簽或訓練數據的語義功能）來提高性能。布羅斯坦等人。 [2]通過特征分解和增強來保持類內相似性，提出了一種跨模態哈希方法。語義相關最大化（SCM）[44]利用標簽信息來學習模態特定變換，其預測模態之間的最大相關性。保留語義的散列（SePH）[16]通過對概率分布中的親和矩陣建模，同時最小化Kullback-Leiblerdivergence，生成單一二進制代碼。大多數這些方法都依賴于手工制作的特征，這些特征必須由淺層架構提取;這些方法可以有效地利用各種形式的異質關系。最近，一些作品報道了深度交叉模式哈希檢索[3,9,12,37]。深度跨模式散列（DCMH）[12]執行端到端學習框架，使用負對數似然丟失來保持跨模態的相似性。 對抗性跨模式檢索（ACMR）[37]直接借鑒了對抗性學習方法，并嘗試使用與我們最密切相關的分類方法來區分不同的方式。 然而，與[37]相比，我們的SSAH利用兩個對抗網絡來共同模式化不同的模態，從而進一步捕獲它們的語義相關性和代表性，以及對學習語義特征的監督。

3.PROPosed SSAH

在不失一般性的情況下，我們專注于雙模態數據（即圖像和文本）的跨模態檢索。圖1是表示所提出的SSAH方法的一般原理的流程圖。該方法主要由三部分組成，包括一個名為LabNet的自監督語義生成網絡，以及分別用于圖像和文本模式的兩個名為ImgNet和TexNet的對抗網絡。具體而言，LabNet的目標是以允許從多個注釋中學習語義特征的方式構建。然后，它可以被視為一個共同的語義空間，在其中監督兩個階段的模態 - 特征學習。在第一階段，來自單獨的生成器網絡的模態特定特征在共同的語義空間中彼此相關聯。由于深度神經網絡中的每個輸出層都包含語義信息，因此在公共語義空間中關聯模態特定的特征可以幫助促進模態之間的語義相關性。在第二階段，語義特征和模態特定特征同時被饋送到兩個鑒別器網絡中。結果，在相同語義特征的監督下，兩種形態的特征分布趨于一致。在本節中，我們將介紹有關SSAH方法的詳細信息，包括模型公式背后的方法和學習算法。

3.1。問題制定

設O = {oi} ni = 1表示具有n個實例的交叉模態數據集，oi =（vi，ti，li），其中vi∈R1×dv和ti∈R1×dt是原始圖像和文本特征。第i個實例，li = [li1，...，lic]是分配給oi的多標簽注釋，其中c是類號。如果oi屬于第j類lij = 1，則lij = 0.圖像特征矩陣定義為V，文本特征矩陣定義為T，標簽矩陣定義為L forallinstances。空間多標簽相似性矩陣S用于描述兩個實例中的每一個之間的語義相似性，其中Sij = 1意味著oi在語義上與oj相同，否則Sij = 0.在多標簽設置中，兩個實例（oi和oj）被注釋通過多個標簽。因此，如果oi和oj共享至少一個標簽，則我們定義Sij = 1，否則Sij = 0。
這兩種方式的交叉模態運行代碼的代碼：Bv，t∈{-1,1} K，其中K是
二進制代碼的長度。使用模擬距離評估兩個二進制碼之間的相似性。漢明距離disH（bi，bj）與其內積hbi，bji之間的關系可以使用disH（bi，bj）= 12（K-hbi，bji）來表達。因此，我們可以使用內積來量化兩個二進制代碼的相似性。給定S，條件B下S的概率可表示為：
其中δ（Ψij） = 1 1 + e-Ψij，Ψij= 1 2 hbi，bji。因此，具有較大內積的兩個實例應該具有高概率相似。因此，量化漢明空間中二進制碼之間的相似性的問題可以是轉換為代碼原始特征的內積的計算。在這里，我們通過對話網絡（ImgNet和TxtNet）來學習圖像和文本模態的單獨哈希函數（即，Hv，t = fv，t（v，t;θv， t））。同時，我們構建了一個端到端的自我監督語義網絡（LabNet），以便在一個共同的語義空間中模擬圖像和文本模態之間的語義相關性，同時學習這種語義特征的功能（即Hl = fl（l） ;θl））。這里，fv，t，l是哈希函數，θv，t，l是要學習的網絡參數。學習后的Hv，t，l，bina ry代碼Bv，t，l可以通過將符號函數應用于Hv，t，l：Bv，t，l =符號 來生成更容易理解，我們另外使用Fv，t，l∈Rs×n todenotethesemanticfeaturesinacommon語義空間用于圖像，文本和標簽，s是語義空間的維度。在實踐中，Fv，t，l對應于深度神經網絡的某些輸出層（分別為ImgNet，TxtNet和LabNet）。

3.2。自我監督的語義生成

以微軟的COCOdatase為例，有一個標注有多個標簽的例子，如“人”，“棒球棒”和“棒球手套”。在這種情況下，最自然的想法是，有可能采取多個labelannotationasaconduciveness與其他模式之間的模態之間的語義相關性。我們設計了一個名為LabNet的端到端全連接深度神經網絡，用于模擬不同模態之間的語義相關性。給定實例的多標簽向量，LabNet逐層提取抽象語義特征;通過這些，我們可以在網絡和網絡上監督特征學習過程。由于aaipiplet（vi，ti，li）被用于特殊情況，因此我們可以使用isgardli asself-supervisedsemanticinformation forvi andti。 InLabNet，semanticfeaturesareprojectedinto
通過非線性變換得到相應的哈希碼。我們意識到，語義特征與相應的對應代碼之間存在著相似的關系，這是對不同形式之間有效關聯背后的基本預測。因此，對于LabNet，最終目標可以表述如下：
（3）其中Δlij= 1 2（F1 * i）>（F1 * j），Γlij= 1 2（Hl * i）>（Hl * j），Hl是預測的散列代碼和L1是預測標簽。 α，γ，η和β是超參數。在（3）中，J1和J2是兩個負對數似然函數。 J1用于保持語義特征之間的相似性，而J2用于保存類似標簽信息不相似的實例。 J3是學習哈希碼二值化的近似，J4是原始標簽和預測標簽的分類丟失

3.3。特征學習

如上所述，屬于多模態實例的不同模態在語義上是相關的。為了保持這種語義相關性，我們在LabNet的指導下監督兩種模態的特征學習過程，包括對語義特征和學習二進制代碼的監視。為了解決圖像模態，我們設計了一個名為ImgNet的端到端特征學習網絡，它可以將圖像投影到哈希碼中。通過使用語義網絡監督圖像特征學習，我們可以在ImgNet和語義網絡之間保持相同的語義相關性。當在ImgNet中使用時，這是語義網絡的自我監督角色。同樣，在考慮文本模態時，我們使用語義網絡來監督特定于特定學習過程的文本網絡。因此，v和t中不同形態的自監督特征學習的目標函數可以寫成：
（4）其中Δv，t ij = 1 2（F1 * i）>（Fv，t * j），并且Γv，t ij = 1 2（Hl * i） >（Hv，t * j）。 Hv，t是預測的哈希碼，Lv，t分別是圖像和文本的預測標簽。 α，γ，η和β是超參數。 J1和J2是兩個負對數似然函數。 J3和J4區域的近似損失和分類損失以類似于LabNet中使用的方式定義。應注意，盡管（3）和（4）在結構上相似，但它們具有不同的含義。因此，我們使用監督信息Fl * i和Hl * i（從語義網絡中學習）來指導學習網絡和文本網絡的過程。可以使用語義網絡建立相關性。結果，可以減輕模態差距。與圖像模態相比，文本模態中的實例（通常由詞袋（BoW）向量表示）容易導致稀疏性。因此，當想要發現學習哈希碼所需的有價值信息時，BoW是不合適的。為了解決這個問題，我們設計了一個多尺度融合模型，它由多個平均合并層和一個1×1卷積層組成。使用多個平均映射層來提取多個縮放比例的數據，然后使用1×1個卷積層來使用多個特征。通過這個過程，可以捕獲不同的關系，在構建文本形態的語義相關性時，可以捕獲這些關系。更詳細的參數信息在第3.6節中給出。

3.4。對抗性學習

在LabNet的監督下，語義相關性可以在不同的模態中得以保留。 但是，不同的模態通常不一致地分布，如果我們想要生成單一的哈希碼，這不是有益的。 為了彌合這種模式差距并實現更準確的檢索，我們以對抗性學習方式研究了不同模態的分布協議。 我們已經建立了兩個用于圖像和文本模式的鑒別器，而不是分配差異。 對于圖像（文本）鑒別器，輸入是通過LabNet生成的圖像（文本）模態特征和語義特征，輸出是單個值，“0”或“1”。 具體而言，我們定義了這些語義特征的模態標簽，它們已經生成了“1”，并且定義了圖像（文本）語義的模態標簽。
從ImgNet（TxtNet）生成的模態特征為“0”。我們將Fv和F1輸入到為圖像設計的鑒別器中，并將Ft和Fl饋送到另一個已經設計好的標識符中。 Toformulatethis結構，letY = {yi} 3×n i = 1，yi∈{0,1}表示模態labelassignedtothesemanticfeatureinthesharedcommon空間。設Y l = {yl i} n i = 1，yl i = 1表示標簽的模態標簽。 LetY v，t = {yv，t i} n i = 1 andyv，t i = 0分別表示圖像和文本的模態標簽。在訓練我們的模型時，這兩個鑒別器就是兩個對手。因此，目標函數可以寫成如下：
（5）
wherexv，t，l i是共同語義空間中的語義特征，而模態標簽是yv，t，l i，2×n，表示在每個判別器中都有重復的實例。 （5）的結果是鑒別器充當兩個二進制分類器，將輸入語義特征分類為類“1”和類“0”。
3.5.優化
需要注意的是，使用我們的SSAH可以生成三種散列碼：：Bv，t，l = sign（Hv，t，l）。在訓練過程中，我們使B =符號（Hv + Ht + Hl）訓練我們的模型以生成用于語義相似實例的類似二進制代碼。如上所述，整體目標函數可以寫成如下：Lgen = Lv + Lt + Ll Ladv = Lvadv + Ltadv（6）如果我們把它們放在一起，我們可以得到：（
由于參數B的離散性和由最小值損失引起的消失梯度，（7）的優化是難以處理的。因此，我們通過迭代優化來優化目標（7）。首先，我們通過探索標簽信息來優化過度θ1，B1和L1。然后，通過固定θ1和B1來優化LV對θv和Bv的影響。類似地，我們留下θl和Bl固定來學習θt和Bt，允許Lt的優化。在這個過程中，兩種模態特征是在自我監督的學習方式中學習的。最后，通過固定θv，t，l weoptimizeLv，t advoverθv，t。通過利用隨機梯度下降（SGD）和反向傳播（BP）算法來研究所有網絡參數，這是一種廣泛采用的不存在的深度學習方法。 Algorithm1詳細介紹了整個學習算法。對于樣本外擴展：建議的框架可以應用于跨模式。實際上，它不僅限于兩種形式;相反，它可以很容易地適應解決問題的原因，而不是更多的不同。 Hashcodesfortheunseendata-point，它來自不同的模態，imagesortext，可以通過將原始特征輸入到我們的模型中而直接獲得：
（8）此外，通過將標簽信息輸入到LabNet，我們可以獲得標簽信息的哈希碼，然后可以同時使用來自圖像和文本的相關結果。

3.6。實現細節

自我監督語義網絡：我們使用四層前饋神經網絡構建LabNet，用于將標簽投影為哈希碼（L→4096→512→N）。輸出層N的節點與不同數據集的哈希碼K和總類標簽c的長度相關，N = K + c。
圖像生成網絡：我們基于CNN-F [5]神經網絡構建了ImgNet。為了將CNN應用于我們的SSAH模型，我們保留了前七層（與CNN-F中的相同）。在此之后，中間層fc8（具有512個節點）和最終輸出層（具有N個節點）被構建。此外，我們還使用vgg19 [32]網絡評估了我們的方法;在這里，我們用vgg19網絡替換了CNN-F網絡，其余部分保持不變。
用于文本的生成網絡：我們使用三層前饋神經網絡和多尺度（MS）融合模型（T→MS→4096→512→N）構建TxtNet。 MS由五級池化層（1×1,2×2,3×3,5×5和10×10）組成。
對抗網絡：我們使用三層前饋神經網絡（Fv，t，l→4096→4096→1）構建鑒別器網絡。
關于SSAH中使用的激活函數：sigmoid激活用于輸出預測的標簽; tanh激活用于輸出哈希碼;其余的層都由relu函數統一激活。此外，SSAH通過TensorFlow實現，并在具有兩個NVIDIA TITAN X GPU的服務器上運行。

4.實驗

4.1。數據集

MIRFLICKR-25K數據集[11]包含從Flickr收集的25,000個實例。每個圖像都標有相關的文本標簽。在這里，我們遵循DCMH [12]中給出的實驗方案。總共為我們的實驗選擇了20,015個數據點。每個點的文本表示為1,386維BoW向量，并且每個點用24個唯一標簽中的至少一個手動注釋。
NUS-WIDE數據集[6]是一個包含269,648個Web圖像的公共Web圖像數據集。有81個基本概念，它已經被人們注意到了對其進行評價。在修剪沒有任何標簽或標簽信息的數據之后，選擇屬于21個最常見概念中的某些概念的190,421個圖像文本對的子集作為我們的數據集。
MSCOCO數據集 [15]包含大約80,000個訓練圖像和40,000個驗證圖像。隨機選擇來自驗證集的五千個圖像。總的來說，我們的實驗中使用了85,000個數據項。每個數據項由兩個不同模態的一個圖像 - 文本對組成，每個文本表示為2000維BoW矢量。表1總結了三個數據集的統計數據。

4.2。評估和基線

評估：漢明排名和哈希查找是用于評估跨模態檢索任務性能的兩種經典檢索協議。在我們的實驗中，我們使用三個評估標準：平均精度（MAP），用于測量漢明距離的準確度;精確調用（PR）曲線，用于測量散列查找協議的準確性;并且n（P @ n）曲線的精度用于通過僅考慮頂部返回點的數量來評估精度。
基線：我們使用六種最先進的方法比較我們的SSAH，包括幾種基于淺層結構的方法（CVH [14]，STMH [38]，CMSSH [2]，SCM [44]，SePH [16]），和基于深層結構的方法（DCMH [12]）。為了進行公平的比較，我們利用了CNN-F [5]和vgg19 [32]，它們已經在ImageNet數據集[28]上進行了預測，以便為所有基于淺層結構的基線提取深層特征。
為了確定超參數α，γ，η和β，我們從檢索數據庫中隨機選擇一些數據點（每個數據集2,000個）作為我們的驗證集。 圖2提供了這些超參數的靈敏度分析。 當α=γ= 1且η=β= 10-4時，總是可以看到高性能。 對于圖像模態，我們使用在ImageNet數據集上預訓練的CNN-F網絡初始化ImgNet的前七層。 對于文本模態，TxtNet隨機初始化。 學習率從10-4到10-8之間選擇。 在此之后，我們顯示了10次運行的平均結果。

表1：我們實驗中使用的數據集的統計數據
表2：MAP。 最佳精度以粗體顯示。 基線基于CNN-F功能。

4.3。性能

漢明排名：表2報告了我們的SSAH和其他在三種流行數據集（MIRFLICKR25K，NUS-WIDE和MSCOCO）的模態檢索中具有CNN-F特征的比較方法的MAP結果。 “I→T”表示查詢是圖像，數據庫是基于文本的，“T→I”表示查詢和數據庫是基于圖像的。與CVH，STMH，CMSSH，SCM和SePH的淺基線相比，我們的SSAH在MIRFLICKR-25K數據集上對I→T / T→I的MAP實現了絕對超過10％的增加。在將SSAH與基于深度學習的方法（DCMH）進行比較時，我們運行作者提供的源代碼。在這里，可以看出SSAH可以實現超過5％的MAP增加。對于具有更多實例和復雜內容的更多實例和MS COCO，SSAH總是提供比其他比較方法更優越的性能，如表2所示。這可能是因為，在學習過程中，所提出的自我監督的對抗性網絡更有效地促進了不同形式之間語義相關性的學習，這意味著可以使用我們的SSAH學習更多的判別性表征。因此，SSAH可以更準確地捕獲模態之間的相關性。我們使用已在ImageNet數據集上預先訓練過的vgg19功能[32]進一步驗證我們的SSAH。表3顯示了三個不同數據集的MAP結果。如表3所示，我們可以看到幾乎所有基于基于CNN-F的方法均基于CNN-F。不僅如此，我們的SSAH始終如一地實現了最佳性能。與淺基線（CVH，STMH，CMSSH，SCM和SePH）相比，SSAH在MIRFLICKR-25K數據集上的I→T / T→I的平均MAP上實現了絕對超過5％的增加。這表明所提出的SSAH可以應用于其他網絡，并且當配備有效的深層網絡結構時可以實現更準確的檢索。
散列查找：在考慮查找協議時，我們計算給定任何漢明半徑的返回點的PR曲線。 PR曲線可以通過將Hamming半徑從0變為16來獲得，步長為1.圖4顯示了所有當前最先進方法的PR曲線，在三個基準數據集上具有16位哈希碼。通過這種方式，可以看出我們的SSAH顯著優于其所有最先進的競爭對手。
SSAH的消融研究：我們還驗證了不同網絡模塊對我們SSAH性能的影響。設計了三種變體作為我們SSAH網絡的基線：（a）通過自我監督的語義網絡來建立SSAH-1; （b）SSAH-2是用三個全連接層替換TxtNet而建造的; （c）通過刪除對抗性學習模塊來構建SSAH-3。圖3顯示了MIRFLICKR-25K數據集上16位的比較結果。從結果中我們可以看出，我們的方法在使用所設計的模塊時可以實現更準確的性能，并且自我監督的語義網絡顯著地提高了性能。
訓練效率：圖5顯示了SSAH和DCMH的MAP和訓練時間之間的差異。 我們可以看到，我們的方法將訓練時間縮短了10倍，超過了DCMH.IncomparisontoDCMH，SSAHexploitsLabNet從高維語義特征和代碼中學習更多足夠的監督信息，用于有效地訓練ImgNet和TxtNet。 因此，可以捕獲不同模態之間的更準確的相關性，并且可以更有效地橋接模態差距。
與ACMR的比較：根據我們目前的最佳知識，ACMR [37]是借用對抗性學習方法進行跨模態檢索的第一項工作。 但是，ACMR不是基于散列的方法。 為了與ACMR進行公平比較，我們遵循在NUS-WIDE-10kdataset中使用的ACMR.SSAH進行的實驗設置，這是通過從NUS-WIDE數據集中的10個最大類別中隨機選擇10,000個圖像/文本對來構建的。 表4顯示了實驗結果。 ACMR報告了帶下劃線的結果。 可以看出，我們的方法明顯優于ACMR。 這可能是因為我們的框架中使用了兩個小的網絡，SSAH可以更準確地學習不同模態的分布，從而可以更有效地捕獲相關性。
圖2：超參數的靈敏度分析
圖3：Precision @ top1000curvesonMIRFLICKR-25K。 表4：NUS-WIDE上具有CNN-F特征的MAP。

5.結論

在這項工作中，我們提出了一種新的深度哈希方法，稱為自監督對抗性哈希（SSAH），以便有效地解決跨模態檢索的問題。 提出的SSAHincorporatesa自我監督語義網絡與多標簽信息相結合，并進行對抗性學習，以最大化不同形式之間的語義相關性和特征分布一致性。 大量實驗表明，SSAH在三個基準數據集上實現了最先進的檢索性能。
6.致謝
本項工作得到國家自然科學基金項目61572388和批準61703327，重點研發項目/重點行業創新，陜西省2017ZDCXLGY-05-04-02和格蘭特2017ZDCXL-GY-05-04-02，以及ARC的支持。 FL-170100117，DP-180103424，DP-140102164，LP150100671。