Explaining Visual Cortex Phenomena using Recursive Cortical Network

使用rcn介紹視覺皮層中的現象

????在看numenta公司的HTM時，發現還有一個公司——Vicarious，也在研究人腦來創建神經網絡，不同的是它實力更雄厚，已有硅谷大佬們上億美元的融資。它的代表作是RCN（Recursive Cortical Network）遞歸皮層網絡。這篇論文主要不是說技術的，而是向大家展示用rcn這個模型可以解釋為什么人類視錯覺的原因（本來這里沒有顏色，為什么人眼會看到有顏色，而且大腦v1層的反應還和真的有一樣）。我已經研究了很久人腦皮層的結構和神經網絡，希望能通過這個論文，將兩者更好的聯系起來，所以翻譯了一下。（因為還沒搞懂rcn，所以有部分沒翻譯完全，回頭改一下）我們有一個研究皮質算法的Q群：515743445，有興趣可以加入（就3個人。。。）。

摘要

????視覺皮層的連通性和信息通路得到了很好的研究，正如觀察到的生理現象一樣，但用于解釋視覺皮層過程的內聚模型仍然是一個懸而未決的問題。為了全面理解，我們需要建立能夠提供和真實性能一樣強大的視覺皮層模型，同時還能夠解釋心理物理和生理觀察。為此，我們演示了遞歸皮層網絡（George et al。，2017）如何用作計算模型來重現和解釋主觀輪廓，霓虹色擴散，遮擋與刪除以及觀察到的邊界歸屬競爭現象在視覺皮層。

介紹

????為了全面理解，我們需要建立能夠提供和真實性能一樣強大的視覺皮層模型，同時還能夠解釋心理物理和生理觀察。一種研究途徑將識別，分割，推理等任務視為對生成模型的查詢（Lee＆Mumford，2003）。許多視覺錯覺也可以被理解為生成模型中的最佳貝葉斯推斷，并且它們通常提供對視覺感知潛在機制的見解。在最近的一篇出版物中（George et al。，2017），我們引入了遞歸皮層網絡（RCN），這是一種視覺生成模型，并展示了它的真實性能。在這里，我們表明RCN可以重現和解釋眾所周知的心理物理實驗和生理觀察：（1）主觀輪廓效應（Kanizsa，1976），（2）和霓虹色擴散?（3）邊界歸屬反應（borderownership response），和（4）遮擋對比刪除效果（occlusion versus deletion effect）。所有這些現象都被解釋為在為解析視覺場景1而構建和學習的模型中進行推理的副產品。我們認為這些視覺現象是模型所采用的因子分解的必要副作用，以實現強大的泛化。

遞歸皮層網絡（RCN）

????RCN是一種用于視覺的結構化概率圖模型（PGM??probabilistic graphical model ），由與外觀畫布相互作用的特征的輪廓層次組成（圖1A）。輪廓層次（contour hierarchy）被學習為特征檢測器，池化和橫向連接的交替層（圖1B）。在圖1B中，每個填充的循環節點是二進制隨機變量，開放循環節點是分類隨機變量，矩形是編碼兼容性（compatibility）的因子。池化提供局部變形的不變性，類似于卷積神經網絡中的池化。學習池之間的橫向連接，圖1B和C中的灰色方形“因子節點”以強制相鄰池（adjacent pool）中的選擇之間的輪廓一致性。圖1C顯示了矩形的層次分解，從底部的簡單線段到更高層次的更復雜的特征，圖1D顯示了輪廓和面之間相互作用的細節。有關詳細信息，請參閱George et al。，（2017）。

通過使用預定的max-prop信念傳播(scheduled max-prop belief propagation)（Pearl，1988）進行近似MAP推理（推斷最佳解釋）來實現解析場景。受生物學啟發的消息傳遞時間表(message passing schedule)如下。包括了短程橫向傳播的快進傳遞( fast forward pass)來識別極有可能獲得證據的節點。傳播用于組合近似MAP解決方案，該解決方案產生輸入場景的完整分段。

圖1：RCN生成模型。有關詳細信息，請參見

結果

????我們解釋的視覺現象有一些共性。 它們需要前饋，反饋和橫向連接的互操作。 其中三個涉及輪廓和表面的表示。 所有這些都可以理解為RCN中近似最優推斷的結果。

主觀輪廓

????在主觀輪廓錯覺中，人們會看到一條實際上并不存在的線條。在圖2中，人們在圓圈之間的空白區域中感覺到三角形的微弱輪廓，即使沒有邊界的局部證據。生理學結果報告了V1中神經元響應虛幻輪廓的證據，盡管與響應真實輪廓的神經元相比有延遲（Lee＆Mumford，2003）。圖2第1列和第3列顯示了各種各樣的圖像，其中感知了虛幻的輪廓。在第2和第4列中，我們展示了如何訓練RCN識別這些視覺刺激中規則形狀“幻覺”的虛幻輪廓。在這些圖像中顯示的是在網絡的最低級別的“對最佳解釋的推斷”（MAP推斷）解決方案，其是如前所述的消息傳遞的結果而獲得的。這些圖像中的黃色部分表示自下而上的證據，藍色星是“回溯”，是網絡發現的全球MAP解決方案的一部分。回溯表明網絡期望將空白空間中的輪廓視為全局解決方案的一部分。

圖二：主觀輪廓

????盡管缺乏當地證據，但是為什么RCN會因推理而產生這些幻覺？原因是根據模型，圖像其余部分的局部證據足以支持對象的全局感知。由于MAP推斷找到最能解釋圖像中證據的配置，因此它將打開作為全局感知一部分的所有特征。

????從消息傳播的時間表中可以容易地理解神經元對主觀輪廓的反應的時間動態（Lee＆Mumford，2003）。在前向傳遞期間，特征僅具有局部證據，因此空白空間中的神經元不響應。一旦前向傳遞識別出潛在的全局感知，該信息將在自上而下的消息中向下流動，以影響較低級別節點中的信念，從而打開先前關閉的某些功能。

邊境歸屬回應

????封閉物體的邊界被認為屬于它們（von der Heydt，2011）。已知V1和V2中的幾個神經元對其邊界歸屬敏感。這些細胞更喜歡給定的圖形位于邊界的一側或另一側，但是不可能從細胞的經典感受野內的局部線索確定給定的輪廓是否屬于表面（Tyler 2011）。特別是，在對刺激的反應的早期階段，這兩個同樣激活，并且在響應的后期階段，只有具有正確表面選擇性的神經元保持響應（von der Heydt，2011）。

圖3：RCN的邊界歸屬實驗。（A）PGM示意圖，（B）具有相同RFs但邊界所有權偏好對立的兩個輪廓選擇性細胞的激活的演變過程??

與（von der Heydt，2011）中提出的結果一致，RCN模型具有每個輪廓神經元的兩個副本，每個代表邊界歸屬一側。然而，它們在PGM中的相互作用的確切性質決定了它如何到達解決方案。圖3A顯示了對應于該相互作用的RCN的PGM片段。該特征復制具有相同的輪廓，但不同的表面邊緣偏好與輪廓節點相互作用而沒有偏好（“非選擇性”）在嘈雜的“V”結構中。

？？？？？？？？？？？？？？？？？？？？？？？？

（The feature copies with identical contours, but different side-ofsurface preferences interact with the contour-node with no preference (‘unselective’) in a noisy-OR ‘V’ structure.）

????非選擇性節點直接連接到渲染圖像。在通過V型結構的第一次向前傳遞中，自下而上的證據由于缺乏對它們中任何一個的先前偏好而同等地流向父母。前饋傳播導致頂層的全局感知僅與父親中的一個一致。然后，后向消息傳達這些偏好。由于MAP推理的目標是“解釋”證據，其中一個父母開啟'解釋'了另一個父母開啟的必要性。圖3B示出了邊界所有權節點的對數似然作為消息傳遞迭代次數的函數。這再現并解釋了實驗觀察到的效果。

霓虹色傳播

某些刺激，如圖4（左）所示，會引起人類虛幻表面的幻覺，這種效應被稱為霓虹色擴散（Bressan et al。，1997）。 這些影響背后的建議機制是邊界完成和視覺皮層表面填充之間的相互作用（Grossberg＆Yazdanbakhsh，2005）。 值得注意的是，虛幻表面的填充尊重虛幻輪廓的邊界。

圖4：RCN的霓虹色擴散實驗證明了神經填充機制。 給定輸入刺激（Bressan等，1997）（左），表面信息在模型V1中順序傳播（右，從左上角順時針）。

????霓虹色擴散效應是RCN中MAP推理動力學的自然副產物。要理解這一點，請考慮圖1A和1D中所示的PGM片段。建模為條件隨機場（CRF）的表面鼓勵相鄰表面節點之間的連續性，除非插入的輪廓節點被打開。如George等人（2017）所述，通過該模型的正向通過產生近似的邊緣和表面響應。基于在輪廓層次的頂層選擇最活躍的假設的向后傳遞將在表面CRF上強制執行相應的輪廓不連續性。圖4（左）中所示的刺激具有足夠的局部邊緣證據來支持圓作為RCN輪廓層次中的頂層假設 - 這部分推斷與前面描述的主觀輪廓的情況相同。輪廓的自上而下的部分MAP配置（圓圈）會影響CRF中的傳播。然后，自上而下輪廓施加的不連續性將在CRF中傳播，并進一步傳遞消息以創建填充效果。

遮擋與刪除

????心理物理學實驗表明，人類在遮擋物體方面要比刪除遮擋區域的相同物體（保持相同的可見部分）更好（Johnson＆Olshausen，2005）。在George et al。，（2017）中，我們證明了關于閉塞的推理導致RCN中的識別率顯著提高。

圖5：在RCN中的遮擋與刪除之間的檢測。與人類心理物理學研究結果類似，反映信心的RCN檢測分數（右上角）在物體完全可見（左）時最高，其次是當它被遮擋（中間）時。

????阻塞與刪除背后的原因很容易理解為RCN生成模型。刪除對象的部分是缺少這些部分的證據。當由于遮擋而丟失那些相同的部分時，該模型可以解釋缺少證據作為遮擋。從機制上講，如果沒有遮擋來解釋他們的缺席，被刪除的部分將為整體假設提供負面證據。在遮擋推理期間進行解釋會將這些負面證據轉換為“不確定證據”（log-likelihood = 0）。圖5顯示了與完整正方形（左列）相比，當缺失證據被視為遮擋（中間列）與刪除（右列）時，“正方形”假設獲得的對數似然得分。

討論

????我們描述了在RCN中使用循環信念傳播的近似貝葉斯推斷的動力學如何解釋幾個眾所周知的心理物理和生理結果。 與專門用于解釋孤立現象的模型相比，所有這些觀察結果都被解釋為在解析視覺場景時學習的模型中“對最佳解釋進行推理”的自然副產品。 神經和認知科學研究指導了RCN中的代表性選擇和推理算法，并且這些算法對于在幾個真實世界的基準測試中以極少的訓練數據實現最先進的性能至關重要。 我們希望RCN還可以用作神經科學和認知科學實驗的工具，以進一步了解視覺皮層回路中的計算。