How?Neural?Networks?Extrapolate:?From?Feedforward?to?Graph?Neural?Networks

ICLR2021最高分論文????????????https://arxiv.org/abs/2009.11848

52頁論文，正文占9頁，主要都是附錄，不過附錄里很多圖片（一頁就一兩張圖），排除這些一頁一圖的，只有40頁

我們研究用梯度下降法訓練的神經網絡如何外推，也就是說，它們在訓練分布的支持之外學習什么。以前的工作報告了使用神經網絡進行外推時混合的實證結果：雖然前饋神經網絡，即多層感知器（MLP）在某些簡單任務中外推效果不好，但圖形神經網絡（GNN）——帶有MLP模塊的結構化網絡——在更復雜的任務中取得了一些成功。為了得到理論解釋，我們確定了MLPs和GNNs外推良好的條件。首先，我們量化了ReLU-MLPs從原點沿任意方向快速收斂到線性函數的觀測結果，這意味著ReLU-MLPs不能外推大多數非線性函數。但是，當訓練分布足夠“多樣化”時，他們可以證明學習線性目標函數。其次，在分析GNNs的成功和局限性時，這些結果提出了一個假設，我們提供了理論和經驗證據：GNNs在將算法任務外推到新數據（例如。，較大的圖或邊權重）依賴于編碼體系結構或特征中特定于任務的非線性。我們的理論分析建立在過度參數化網絡與神經切線核的聯系上。根據經驗，我們的理論適用于不同的培訓環境

1簡介

人類在許多任務中推斷得很好。例如，我們可以對任意大的數應用算術。人們可能想知道，神經網絡是否也能做到這一點，并將其推廣到任意遠離訓練數據的示例中（Lake et al.，2017）。奇怪的是，以前的工作報告混合外推結果與神經網絡。早期的工作表明，前饋神經網絡，又稱多層感知器（MLPs），在學習簡單多項式函數時不能很好地進行外推（Barnard&Wessels，1992；Haley&Soloway，1992年）。然而，最近的研究表明，圖神經網絡（GNNs）（Scarselli et al.，2009）是一類具有MLP構建塊的結構化網絡，在具有挑戰性的算法任務中，如預測物理系統的時間演化（Battaglia et al.，2016），可以推廣到比訓練圖大得多的圖，學習圖形算法（Velickovic et al.，2020），求解數學方程（Lample&Charton，2020）。

為了解釋這個難題，我們正式研究了梯度下降（GD）訓練的神經網絡是如何外推的，即它們在訓練分布的支持之外學習什么。我們說，如果一個神經網絡在訓練分布之外學習了一個任務，它就能很好地進行外推。乍一看，似乎神經網絡可以在訓練分布之外任意行為，因為它們具有高容量（Zhang et al.，2017），并且是通用逼近器（Cybenko，1989；Funahashi，1989年；Hornik等人，1989年；庫爾科娃，1992年）。然而，神經網絡受到梯度下降訓練的限制（Hardt等人，2016；Soudry等人，2018年）。在我們的分析中，我們通過類比過參數化神經網絡的訓練動態和通過神經切線核（NTK）的核回歸，明確考慮了這種隱式偏差（Jacot等人，2018）。

從前饋網絡、最簡單的神經網絡和更復雜的體系結構（如GNNs）的構建塊開始，我們建立了由GD訓練的具有ReLU激活的過參數mlp的預測從原點沿任意方向收斂到線性函數。我們證明了兩層網絡的收斂速度，并從經驗上觀察到收斂經常發生在訓練數據附近（圖1），這表明ReLU-MLPs不能很好地外推大多數非線性任務。我們強調，我們的結果并不是基于ReLU網絡具有有限多個線性區域的事實（Arora et al.，2018；Hanin&Rolnick，2019年；Hein等人，2019年）。雖然有有限多個線性區域意味著ReLU MLPs最終會變為線性，但MLPs是否會學習到接近訓練分布的正確目標函數并沒有說明。相比之下，我們的結果是非漸近的，并且量化了MLPs將學習什么樣的函數接近于訓練分布。其次，我們確定了mlp外推良好的條件：任務是線性的，訓練分布的幾何結構是充分“多樣化”的。據我們所知，我們的結果是這種前饋神經網絡的第一個外推結果。

然后，我們將我們對前饋神經網絡的見解與GNNs聯系起來，以解釋GNNs在某些算法任務中外推得好的原因。先前的工作報告了可以通過動態規劃（DP）解決的任務的成功外推（Bellman，1966），其計算結構與GNNs一致（Xu等人，2020）。DP更新通常可以分解為非線性和線性步驟。因此，我們假設GD訓練的GNN可以在DP任務中很好地外推，如果我們在架構和輸入表示中編碼適當的非線性（圖2）。重要的是，編碼非線性可能不需要GNNs插值，因為MLP模塊可以很容易地學習訓練分布中的許多非線性函數（Cybenko，1989；Hornik等人，1989年；Xu等人，2020），但GNNs正確外推至關重要。我們使用圖NTK（Du等人，2019b）證明了簡化情況下的這一假設。在經驗上，我們驗證了三個DP任務的假設：最大度、最短路徑和n體問題。我們證明了具有適當結構、輸入表示和訓練分布的GNNs可以很好地預測具有未知大小、結構、邊權值和節點特征的圖。我們的理論解釋了以往工作的經驗成功，并指出了它們的局限性：成功的外推依賴于編碼任務特定的非線性，這需要領域知識或廣泛的模型搜索。從更廣泛的角度來看，我們的見解超越了GNNs，并廣泛應用于其他神經網絡。

總之，我們研究神經網絡如何外推。首先，由GD訓練的ReLU-mlp以O（1/t）的速率沿原點方向收斂為線性函數。其次，為了解釋為什么GNNs在一些算法任務中可以很好地外推，我們證明了ReLU-MLPs在線性任務中可以很好地外推，從而引出一個假設：當適當的非線性被編碼到結構和特征中時，神經網絡可以很好地外推。我們用一個簡化的例子證明了這個假設，并為更一般的情況提供了經驗支持。

1.1相關工作

早期的工作顯示了MLP不能很好地外推的示例任務，例如學習簡單多項式（Barnard&Wessels，1992；Haley&Soloway，1992年）。相反，我們展示了ReLU MLPs如何外推的一般模式，并確定MLPs外推良好的條件。最近的工作研究了在NTK和平均場兩種情況下，梯度下降對MLP產生的隱性偏差（Bietti和Mairal，2019；Chizat&Bach，2018年；Song等人，2018年）。與我們的結果相關，一些工作表明MLP預測收斂于“簡單”分段線性函數，例如，具有很少的線性區域（Hanin&Rolnick，2019；Maennel等人，2018年；Savarese等人，2019年；威廉姆斯等人，2019年）。我們的工作不同之處在于，這些工作都沒有明確研究外推法，有些只關注一維輸入。最近的研究還表明，在NTK區域的高維環境中，MLP在某些標度極限下至多是一個漸近線性預測因子（Ba等人，2020；Ghorbani等人，2019年）。我們研究不同的設置（外推），我們的分析是非漸近性質，不依賴于隨機矩陣理論。

先前的工作通過在較大的圖上進行測試來探索GNN外推（Battaglia et al.，2018；Santoro等人，2018年；薩克斯頓等人，2019年；Velickovic等人，2020年）。我們是第一個從理論上研究GNN外推法的人，我們完成了外推法的概念，包括看不見的特征和結構。

2準備工作

3前饋神經網絡如何外推

前饋網絡是最簡單的神經網絡和更復雜的體系結構（如GNNs）的構建塊，因此我們首先研究它們在GD訓練時是如何外推的。在本文中，我們假設ReLU激活。第3.3節包含其他激活的初步結果。

3.1 RELU MLP的線性外推行為

通過架構，ReLU網絡學習分段線性函數，但是在訓練數據的支持之外，這些區域究竟是什么樣的呢？圖1舉例說明了當GD對各種非線性函數進行訓練時，ReLU MLP如何進行外推。這些例子表明，在訓練支持之外，預測很快就會沿著原點的方向線性化。我們通過線性回歸對MLPs的預測進行了系統的驗證：決定系數（R2）總是大于0.99（附錄C.2）。也就是說，ReLU MLPs幾乎立即在訓練數據范圍之外“線性化”。

我們使用GD通過神經切線核（NTK）訓練的神經網絡的隱式偏差來形式化這個觀察：GD訓練的過參數化網絡的優化軌跡等價于具有特定神經切線核的核回歸的軌跡，在一系列被稱為“NTK制度”的假設下（Jacot等人，2018年）。我們在這里提供了一個非正式的定義；更多詳情，請參閱Jacot等人（2018）和附錄A。

定義2。

（非正式）在NTK區域訓練的神經網絡是無限寬的，以一定的比例隨機初始化，并且由GD以無窮小的步長訓練。

先前的工作通過NTK分析過參數化神經網絡的優化和分布泛化（Allen-Zhu等人，2019a；b類；Arora等人，2019a；b類；曹顧，2019；杜等人，2019c；一個；李亮，2018；日田和鈴木，2021年）。相反，我們分析外推。

定理1將我們從圖1中觀察到的結果形式化：在訓練數據范圍之外，沿著原點的任何方向tv，兩層ReLU MLP的預測迅速收斂為速率為O（1/t）的線性函數。線性系數β收斂速度中的常數項依賴于訓練數據和方向v。證據見附錄B.1

定理1

ReLU網絡具有有限多個線性區域（Arora等人，2018；漢寧和羅爾尼克，2019），因此他們的預測最終成為線性。相反，定理1是一個更細粒度的分析MLP如何外推，并提供了收斂速度。雖然定理1假設兩層網絡處于NTK狀態，但實驗證實，線性外推行為發生在具有不同深度、寬度、學習速率和批量大小的網絡上（附錄C.1和C.2）。我們的證明技術也可能擴展到更深層次的網絡。

圖4a提供了一個更積極的結果：MLP在許多不同的超參數上很好地外推了線性目標函數。雖然學習線性函數一開始似乎非常有限，但在第4節中，這一見解將有助于解釋GNN在非線性實際任務中的外推特性。在此之前，我們首先從理論上分析了MLPs外推的好時機。

3.2當RELU MLPS可證明外推井

圖4a顯示，當目標函數為線性時，MLP可以很好地外推。然而，這并不總是正確的。在本節中，我們展示了成功的外推依賴于訓練數據的幾何結構。直觀地說，訓練分布必須足夠“多樣化”，以便進行正確的推斷

我們提供了兩個條件，將訓練數據的幾何結構與外推聯系起來。引理1指出，過參數化的mlp只需二維例子就可以學習線性目標函數。

實驗：訓練數據的幾何結構影響外推。

定理2中的條件形式化了一種直覺，即訓練分布必須是“多樣的”，才能成功地進行外推，例如，D包括所有方向。從經驗上講，當滿足定理2的條件時（圖4b中的“all”），外推誤差確實很小。相反，當訓練示例僅限于某些方向時，外推誤差要大得多（圖4b和圖3）。

與之前的工作相關，定理2提出了為什么虛假相關性可能會損害外推，補充了因果關系論點（Arjovsky et al.，2019；Peters等人，2016年；Rojas Carulla等人，2018年）。當訓練數據具有虛假相關性時，某些特征組合丟失；e、 例如，駱駝可能只出現在沙漠中的圖像收集。因此，定理2的條件不再成立，模型可能外推錯誤。定理2也類似于線性模型的可辨識條件，但更為嚴格。如果訓練數據具有全（特征）秩，我們可以唯一地識別一個線性函數。mlp更具表現力，因此識別線性目標函數需要附加約束。

綜上所述，我們分析了ReLU-MLPs是如何外推的，并提供了兩個啟示：（1）MLPs由于其線性外推而不能外推大多數非線性任務（定理1）；當目標函數是線性函數時，如果訓練分布是“多樣的”（定理2），mlp可以很好地外推。在下一節中，這些結果將幫助我們理解更復雜的網絡是如何外推的。

3.3具有其他激活功能的MLPS

在繼續討論GNNs之前，我們通過對其他激活函數tanh的實驗來完成MLPs的描述σ(x） =tanh（x），余弦σ(x） =cos（x）（Lapedes&Farber，1987年；McCaughan，1997年；Sopena和Alquezar，1994），和σ(x） =x2（杜和李，2018；Livni等人，2014年）。詳情見附錄C.4。當激活函數和目標函數相似時，MLPs外推效果較好；e、 例如，當學習tanh時，tanh激活可以很好地推斷，但不能推斷其他功能（圖5）。而且，每個激活函數都有不同的局限性。要用tanh激活外推tanh函數，訓練數據范圍必須足夠寬。當學習具有二次激活的二次函數時，只有兩層網絡可以很好地進行外推，而更多的層可以得到更高階的多項式。對于高維數據，余弦激活很難優化，因此我們只考慮一維/二維余弦目標函數。

4圖形神經網絡如何外推

上面，我們看到非線性任務中的外推對于MLP來說是困難的。盡管存在這一局限性，GNNs在一些非線性算法任務中表現出了很好的外推能力，如直觀物理（Battaglia et al.，2016；Janner等人，2019），圖算法（Battaglia等人，2018；Velickovic等人，2020）和符號數學（Lample&Charton，2020）。為了解決這個差異，我們建立在MLP結果的基礎上，研究GD訓練的GNNs是如何外推的。

4.1假設：線性算法對齊有助于外推

我們從一個例子開始：訓練GNNs來解決最短路徑問題。對于這項任務，先前的工作觀察到，具有最小聚集的改進GNN架構可以推廣到比訓練集中的圖更大的圖（Battaglia et al.，2018；Velickovic等人，2020）：

我們首先提供一個直觀的解釋（圖2a）。最短路徑可通過Bellman-Ford（BF）算法（Bellman，1958）求解，并進行以下更新

其中w（v，u）是邊（v，u）的權重，d[k][u]是k步內到節點u的最短距離。這兩個方程可以很容易地對齊：如果GNNs的MLP模塊學習一個線性函數d[k]，那么它將模擬BF算法?1] [v]+w（v，u）。由于mlp可以外推線性任務，這種“對齊”可以解釋為什么GNNs可以在這個任務中很好地外推。

為了進行比較，我們可以解釋為什么我們不希望GNN使用更常用的和聚合（Eqn。1） 在這項任務中推斷得很好。對于和聚合，MLP模塊需要學習一個非線性函數來模擬BF算法，但定理1表明，它們不會在訓練支持之外外推大多數非線性函數。

我們可以將上述直覺推廣到其他算法任務。許多GNNs外推良好的任務可以通過動態規劃（DP）來解決（Bellman，1966），這是一種具有類似GNNs（Eqn）的遞歸結構的算法范式。1） （Xu等人，2020年）。

定義3。動態規劃（DP）是一個帶有更新的遞歸過程

其中答案[k][s]是迭代k和狀態s索引的子問題的解決方案，DP Update是一個任務特定的更新函數，它基于上一次迭代解決子問題。從更廣泛的角度出發，我們假設：如果我們將適當的非線性編碼到模型結構和輸入表示中，使MLP模塊只需要學習接近線性的步驟，那么所得到的神經網絡就可以很好地外推。

假設1。

我們的假設建立在（Xu等人，2020）的算法對齊框架之上，該框架指出，如果模塊“對齊”以便于學習（可能是非線性）函數，則神經網絡插值良好。成功的外推更難：模塊需要與線性函數對齊。

線性算法對準的應用。

一般來說，線性算法對準不局限于GNN，廣泛應用于神經網絡。為了滿足這種情況，我們可以在結構或輸入表示中編碼適當的非線性操作（圖2）。使用GNNs學習DP算法是在體系結構中編碼非線性的一個例子（Battaglia等人，2018；Corso等人，2020年）。另一個例子是對體系結構中的日志和exp變換進行編碼，以幫助外推算術任務中的乘法（Trask等人，2018；Madsen&Johansen，2020年）。神經符號程序進一步發展，并對符號操作庫進行編碼，以幫助推斷（Johnson等人，2017年；Mao等人，2019年；易等，2018年）。

對于某些任務，更改輸入表示可能更容易（圖2b）。有時，我們可以將目標函數f分解為f=g? 將h嵌入特征嵌入h和一個簡單的目標函數g中，我們的模型可以很好地推斷。我們可以通過使用領域知識通過專門的特征或特征轉換獲得h（Lample&Charton，2020；Webb等人，2020年），或通過X\D中未標記的未標記的未標記的分發數據的表示學習（例如，BERT）（Chen等人，2020年）；Devlin等人，2019年；胡等，2020；Mikolov等人，2013b；Peters等人，2018年）。這為表示如何幫助在不同應用領域進行外推提供了新的視角。例如，在自然語言處理中，預處理表示（Mikolov等人，2013a；Wu&Dredze，2019）和使用領域知識進行特征轉換（袁等，2020年；Zhang等人，2019）幫助模型在語言之間進行概括，這是一種特殊的外推。在定量金融中，確定正確的“因素”或特征對于深入學習模型至關重要，因為金融市場可能經常處于外推制度中（Banz，1981；法蘭西，1993年；羅斯，1976）。

線性算法對齊解釋了文獻中成功的外推，并指出外推一般更難：編碼適當的非線性通常需要領域專家或模型搜索。其次，我們為我們的假設提供理論和實證支持。

4.2理論和經驗支持

我們驗證了我們對三個DP任務的假設：最大度、最短路徑和n-體問題，并證明了最大度假設。我們強調了圖結構在外推中的作用。

理論分析。

我們從一個簡單而基本的任務開始：學習一個圖的最大度，一個DP的特例。作為定理1的推論，常用的基于和的GNN（Eqn。1） 無法很好地推斷（證據見附錄B.4）。

推論1。

具有和聚集和和和讀出的GNNs在最大程度上不能很好地外推。為了實現線性算法對齊，我們可以對讀出器中唯一的非線性max函數進行編碼。定理3證實了具有最大讀數的GNN在這個任務中可以很好地外推。

定理3并不是緊跟定理2，因為GNNs中的MLP模塊只接受間接的監視。我們分析圖NTK（Du等人，2019b）來證明附錄B.5中的定理3。雖然定理3假設相同的節點特征，但我們在經驗上觀察到相同和不相同特征的相似結果（附錄中的圖16）。

條件的解釋。

定理3中的條件類似于定理2中的條件。這兩個定理都需要不同的訓練數據，用定理3中的圖結構或定理2中的方向來度量。在定理3中，如果所有訓練圖都具有相同的最大或最小節點度，例如，當訓練數據來自以下族之一時，違反了該條件：路徑、C-正則圖（具有C度的正則圖）、圈和階梯。

實驗：有助于推斷的架構。

我們用兩個DP任務來驗證我們的理論分析：最大度和最短路徑（詳見附錄C.5和C.6）。而以前的工作只測試不同大小的圖（Battaglia et al.，2018；Velickovic等人，2020），我們還測試了具有不可見結構、邊權重和節點特征的圖。結果支持了我們的理論。對于最大度，具有最大讀數的GNNs優于具有和讀數的GNNs（圖6a），證實了推論1和定理3。對于最短路徑，具有最小讀數和最小聚集的GNN優于具有和讀數的GNN（圖6a）。

實驗證實了訓練圖結構的重要性（圖7）。有趣的是，這兩個任務支持不同的圖結構。對于最大度，如定理3所預測的，當訓練在樹、完全圖、擴張圖和一般圖上時，GNNs外推效果很好，當訓練在4-正則圖、圈圖或梯形圖上時，外推誤差更大。對于最短路徑，當我們改變訓練圖的稀疏性時，外推誤差遵循U形曲線（附錄中的圖7b和圖18）。直覺上，在稀疏或稠密圖上訓練的模型可能學習退化解。

實驗：有助于推斷的表征。

最后，我們展示了一個很好的輸入表示幫助外推。我們研究了n體問題（Battaglia等人，2016；Watters等人，2017年）（附錄C.7），即預測重力系統中n個物體的時間演化。根據之前的工作，輸入是一個完整的圖形，其中節點是對象（Battaglia等人，2016）。

5與其他分布外設置的連接

我們討論幾個相關的設置。直觀地說，從我們上述結果的觀點來看，相關設置中的方法可以通過1）學習超出訓練數據范圍的有用非線性和2）將相關測試數據映射到訓練數據范圍來改進外推。

領域適應研究對特定目標領域的泛化（Ben-David等人，2010；Blitzer等人，2008年；Mansour等人，2009年）。典型的策略會調整訓練過程：例如，使用來自目標域的未標記樣本來對齊目標和源分布（Ganin等人，2016；趙等，2018）。在訓練期間使用目標域數據可能會導致有用的非線性，并可能通過匹配目標和源分布來減輕外推，盡管學習映射的正確性取決于標簽分布（Zhao等人，2019）。

對大量未標記數據的自監督學習可以學習超出標記訓練數據范圍的有用非線性（Chen et al.，2020；Devlin等人，2019年；He等人，2020年；Peters等人，2018年）。因此，我們的結果提出了一個解釋，為什么像BERT這樣的預訓練表示可以提高分布外魯棒性（Hendrycks et al.，2020）。此外，自監督學習可以將語義相似的數據映射到相似的表示，因此映射后的一些域外實例可能會落入訓練分布中。

不變模型旨在學習在多個訓練分布中尊重特定不變性的特征（Arjovsky et al.，2019；Rojas Carulla等人，2018年；周等人，2021）。如果模型真的學習到了這些不變性，這可能發生在線性情況下，當存在混雜或反因果變量時（Ahuja等人，2021；Rosenfeld等人，2021），這可能從本質上增加了訓練數據范圍，因為模型可以忽略不變特征的變化。

分布魯棒性考慮了數據分布的小干擾，并確保模型在這些干擾下表現良好（Goh&Sim，2010；Sagawa等人，2020年；Sinha等人，2018年；Staib&Jegelka，2019年）。相反，我們看的是更多的全局擾動。盡管如此，人們還是希望，有助于外推的修改通常也能提高對局部擾動的魯棒性。

6結論

本文是一個初步的步驟，正式了解如何神經網絡訓練梯度下降外推。我們確定了MLPs和GNNs按期望外推的條件。我們還提出了一種解釋，說明GNNs在復雜的算法任務中是如何能夠很好地進行外推的：在架構和特性中編碼適當的非線性可以幫助外推。我們的結果和假設與本文和文獻中的實證結果一致