? Google公司DeepMind實驗室于2020年2月21日在arxiv上發布了預印版文章《Learning to Simulate Complex Physics with Graph Networks》。研究人員提出了模擬復雜物理過程的一般框架，包括流體、剛性固體和可變形材料的相互作用。這個框架稱之為 "基于圖網絡的模擬器"(Graph Network-based Simulators, GNS)。該框架以圖中的節點來表示物理系統的狀態，并通過學習信息傳遞 (message -passing) 過程來計算節點的動態。該模型可以預測數千個粒子的狀態。輸入不同的初始條件，可以預測數千個時間步長的粒子變化。決定該模型長期性能的主要因素是信息傳遞的步數，以及通過人為加入噪聲破壞訓練數據，以此減輕錯誤的積累，防止過擬合。作者聲稱GNS框架是迄今為止最精確的、最通用的物理模擬器。
? 對現實世界中的復雜物理過程進行模擬，是許多學科非常重要的組成部分，例如工程力學、地球科學等。然而傳統的模擬器在創建和使用上非常昂貴。以歐洲中期天氣預報中心ECMWF和美國大氣與海洋局NOAA為例，它們必須在預測時段之前計算出全球高分辨率的氣象和海洋狀態，否則預測就失去了意義。因此多臺超級計算機以及配套的電力設施一刻不停的運轉。其中，P級“超級計算機”每秒理論運算速度超過2000萬億次。可想而知，其預報產品耗資頗巨。因此，中國氣象局每年要花費幾億元人民幣購買ECMWF的氣象預報產品 (ECMWF預測所用差分方法較為先進)。由于海洋和大氣一樣都是粘性流體，對流體力學進行高質量的模擬需要大量的計算資源，這使得擴大其適用范圍變得非常困難。
? 構建一個模擬器可能需要多年的努力，并且通常其適用的過程必須設置在狹窄的范圍內，也就是以通用性換取準確性。例如中尺度氣象模式WRF，是美國環境預測中心NCEP、美國國家大氣研究中心NCAR等科研機構在二戰后各國氣象模式的基礎上，于2000 年開發出了中尺度天氣預報WRF模式，并不斷更新了二十年，修復里面的錯誤和優化。WRF模式的運行debug是很多人噩夢。在運行氣象模式時，每個研究研究人員都要根據自己的研究區域和問題自己調節模式參數，來得到準確的結果，期間犧牲了通用性。
? 即使是最好的模擬器，由于對底層物理過程的了解不夠和參數設置的混亂，往往也不準確。例如，雖說傳統的數值模式一向瞧不起深度學習的瞎調參，但是大氣數值模式在選擇云霧理和邊界層方案時，也是通過不斷調整參數來獲得最優結果的。不同點在于，深度學習是后調參，數值模式是先調參。
? 替代傳統模擬器的一個有吸引力的方法是使用機器學習直接從觀察到的數據中訓練模擬器，然而龐大的時間、空間維度和復雜的動力學過程一直是標準的端到端學習方法難以克服的。空間和時間維度是地球科學的顯著特征，而復雜的動力學過程是傳統數值模式賴以成名的資本和支柱。
? 文章作者提出了一個從時空四維數據中學習并模擬的通用框架"基于圖網絡的模擬器" (GNS)。這個框架施加了強烈的歸納偏差 (inductive biases)，其中豐富的物理狀態由粒子間相互作用的圖結構，也就是節點之間的信息傳遞來近似。
? GNS的模擬過程是Encode-process-decode (編碼-處理解碼)、End-to-end (端到端)、Message-passing network (信息傳遞) 三合一模型。GNS使用其學習得到的動力學模型dθ和固定的更新編碼器來預測粒子的未來狀態。dθ使用 "編碼-處理-解碼 "方案，從輸入狀態X中計算動態信息Y。首先，編碼器 (ENCODER) 從輸入狀態X中構建潛在的圖結構G0，然后處理器 (PROCESSOR) 在G0上執行M輪信息傳遞網絡的學習G0，G1，．．．， GM。最后解碼器 (DECODER) 從最終的圖結構GM中提取動態信息Y。
? 文章使用的模擬器為基于粒子的模擬，它被廣泛應用計算流體動力學，計算機圖形學。動力學過程是根據粒子在其局部鄰域內的相互作用來計算的。常見的基于粒子的流體模擬方法是 "平滑粒子流體力學"(smoothed particle hydrodynamics, SPH)，它評估每個粒子周圍的壓力和粘度力，并相應地更新粒子的速度和位置。其他技術，如 "基于位置的動力學"(PBD)和 "材料點法"(MPM)，更適合于相互作用的可變形材料。在PBD中，不可壓縮性和碰撞動力學涉及解決粒子之間的對偶距離約束，并直接預測其位置變化。最近出現了一些更便捷的基于粒子的可微分仿真引擎，如DiffTaichi。
? 圖形網絡(GN)是一種類型的圖形神經網絡，最近被證明在學習涉及許多實體之間相互作用中非常有效。GN將輸入圖映射到具有相同結構但節點、邊緣和圖級屬性可能不同的輸出圖，并且可以被訓練成學習消息傳遞的形式，使信息通過邊緣在節點之間傳播。GN可以模擬剛體、質點彈簧以及機器人控制系統。機器如果想達到和人類一樣的智慧，那么存儲在機器中的知識就不應該是現在這種線性的、規則的數據，例如矩陣或者向量的形式，而應該是像人類大腦中的知識一樣以圖結構的形式存儲。腦能模擬各種復雜運動，靠的是神經網絡，而不是復雜的力學公式。
? 作者采用基于粒子的方法，用粒子之間的能量和動量交互來表示動力學過程。而在實際應用場景中，物理過程往往都很復雜，例如上層大氣是混沌非線性的，而邊界層內的大氣是摩擦力參與的。對于大氣這種復雜系統，長時間步長的模擬會導致誤差累積，亦即引入了計算噪聲。一般來講，模擬超過300個時間步長后，計算誤差會導致數學物理方程無法收斂。所以不能單純的將上一步的計算結果作為輸入來預測下一個時刻的狀態。可以引入隨機散步噪聲來減弱計算誤差。
實際上，語言系統和物理系統一樣復雜，難以總結出普適性的規律。所以說，自然語言是一種非常低效的知識表示方式。
