沒人知道為什么深度神經(jīng)網(wǎng)絡(luò)這么擅長解決復(fù)雜問題。現(xiàn)在物理學(xué)家說秘密藏在物理法則里。
過去幾年中，深度學(xué)習(xí)技術(shù)改變了人工智能的世界。一個(gè)一個(gè)曾被認(rèn)為是人所特有的那些能力和技巧，被越來越強(qiáng)大的機(jī)器所征服。現(xiàn)在，深度神經(jīng)網(wǎng)絡(luò)已經(jīng)在人臉識(shí)別和物體識(shí)別方面超越了人類。他們甚至學(xué)會(huì)了古老的圍棋，并且擊潰人類棋手。
但是有個(gè)問題：沒有數(shù)學(xué)理論能解釋，為什么層疊的網(wǎng)絡(luò)會(huì)擅長這些挑戰(zhàn)。數(shù)學(xué)家對此完全困惑。盡管深度神經(jīng)網(wǎng)絡(luò)取得了巨大的成功，沒有人能確定它們是怎么做到的。
今天哈佛大學(xué)的 Henry Lin 和 MIT 的 Max Tegmark 的工作改變了這個(gè)狀況。這兩位說，之所以數(shù)學(xué)家對這個(gè)問題這么尷尬，是因?yàn)閱栴}的答案在于宇宙的特性。換句話說，答案源于物理規(guī)則，而不是數(shù)學(xué)規(guī)則。
首先，讓我們設(shè)定問題：就拿從百萬字位灰度圖片區(qū)分貓和狗為例。
這樣的圖片包含一百萬像素，每個(gè)像素可以從256個(gè)灰度里取值。理論上，一共存在256^1000000 張可能的圖片，其中每一張都需要計(jì)算圖片上到底是只貓還是只狗。可是神經(jīng)網(wǎng)絡(luò)，只用區(qū)區(qū)幾千個(gè)到百萬個(gè)參數(shù)，不知怎么著就能輕松完成這個(gè)任務(wù)。
用數(shù)學(xué)家的語言說，神經(jīng)網(wǎng)絡(luò)的機(jī)理是用簡單的數(shù)學(xué)函數(shù)來近似復(fù)雜數(shù)學(xué)函數(shù)。當(dāng)它在分類貓狗圖片的時(shí)候，神經(jīng)網(wǎng)絡(luò)用一個(gè)函數(shù)，這個(gè)函數(shù)的輸入是一百萬個(gè)灰度像素，輸出是它代表貓或者狗的概率分布。
問題是，這樣的數(shù)學(xué)函數(shù)的數(shù)量，比可能的神經(jīng)網(wǎng)絡(luò)的數(shù)量，多出很多數(shù)量級。然而深度神經(jīng)網(wǎng)絡(luò)不知怎么著就是能得到正確答案。
現(xiàn)在 Lin和Tegmark 說他們找到了原因。答案是：宇宙是由所有可能的函數(shù)中，極小的一個(gè)子集來支配的。換句話說，所有的宇宙法則都可以用數(shù)學(xué)函數(shù)來表達(dá)，而這些函數(shù)只有一些很不尋常的簡單屬性。
所以深度神經(jīng)網(wǎng)絡(luò)不需要去近似所有可能的數(shù)學(xué)函數(shù)，而僅僅是一個(gè)很小的子集。
為了恰當(dāng)理解這個(gè)問題，考慮一個(gè)多項(xiàng)式的階數(shù)，也就是它的最高方次項(xiàng)的次數(shù)。比如一個(gè)二元方程 y=x2 的階數(shù)是2，方程式 y=x24 的結(jié)束是24，以此類推。
很明顯，階數(shù)是無限的，而且自然定律中只出現(xiàn)了所有多項(xiàng)式中非常小的一個(gè)子集。Lin和Tegmark說：“因?yàn)槟承┎豢芍脑颍覀兊挠钪婵梢杂玫碗A多項(xiàng)漢密爾頓方程精確描述”。一般情況下，物理定律多項(xiàng)式的階數(shù)載2到4之間。
物理定律還有其他一些重要性質(zhì)。比如，在旋轉(zhuǎn)和位移方面，它們通常是對稱的。把一只貓和一條狗旋轉(zhuǎn)360度，它們看起來和原來一樣；把它們平移10米或者100米，它們看起來還是那樣。這個(gè)性質(zhì)也大大簡化了貓狗識(shí)別過程的近似任務(wù)。
這些性質(zhì)意味著，神經(jīng)網(wǎng)絡(luò)不需要去近似無窮多的所有可能的數(shù)學(xué)函數(shù)，而只需要由簡單函數(shù)組成的很小的一個(gè)子集。
神經(jīng)網(wǎng)絡(luò)還利用宇宙的另一個(gè)屬性：宇宙的層級結(jié)構(gòu)。Lin和Tegmark說“基本粒子組成原子，原子組成分子，細(xì)胞，器官，行星，星系，銀河系，等等”。復(fù)雜結(jié)構(gòu)常常是經(jīng)過一系列簡單步驟形成的。
這也是為什么神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)非常重要：這些網(wǎng)絡(luò)的分層，可以逼近因果關(guān)系中的步驟。
Lin 和Tegmark 舉了宇宙中微波背景輻射的例子。微波背景輻射是宇宙大爆炸的回響，至今彌漫在宇宙中。近些年，不同的宇航設(shè)備用越來越高的分辨度記錄了這些輻射。當(dāng)然，物理學(xué)家很困惑這些記錄下來的微波的形式的成因。
Tegmark 和 Lin 指出，無論原因是什么，毫無疑問它們是某種因果性層級關(guān)系的結(jié)果。他們說：“一些宇宙參數(shù)（暗物質(zhì)的密度，等）決定了我們宇宙的密度波動(dòng)的能量譜，能量譜又決定了從宇宙早期延伸至今的宇宙微波背景輻射的模式，微波背景輻射又和我們銀河系的前景射頻噪音一起，形成了頻率依賴的天空圖譜，被我們衛(wèi)星載的望遠(yuǎn)鏡記錄下來。”
以上每一個(gè)因果層都包含了更多的數(shù)據(jù)。一開始只有一小撮宇宙參數(shù)，可是哪些圖譜和其中的噪音包含了億萬數(shù)值。物理學(xué)的目標(biāo)，就是分析大量的數(shù)值，揭露那一小撮參數(shù)。
而當(dāng)一些自然現(xiàn)象呈現(xiàn)出層級結(jié)構(gòu)時(shí)，神經(jīng)網(wǎng)絡(luò)使得分析這些現(xiàn)象顯著地變?nèi)菀住?/p>
Tegmark 和 Lin 得出結(jié)論：“我們表明了，深度而低成本的學(xué)習(xí)，不但依賴數(shù)學(xué)，更依賴物理學(xué)。物理偏愛某些類的異常簡單的概率分布，而深度學(xué)習(xí)異常適合對于這些分布建模。”
這是有意思、重要、并有重大影響的工作。人工神經(jīng)網(wǎng)絡(luò)眾所周知是基于生物神經(jīng)網(wǎng)絡(luò)發(fā)展出來的。所以，Lin 和 Tegmark的想法不但解釋了為什么深度學(xué)習(xí)機(jī)器這么好用，也解釋了為什么人腦能夠理解宇宙。不知怎么著，大腦進(jìn)化出了這么一個(gè)理想的結(jié)構(gòu)，讓它很適于破解宇宙的復(fù)雜。
這項(xiàng)工作為人工智能取得更顯著進(jìn)展打開了局面。既然我們終于理解了為什么深度神經(jīng)網(wǎng)絡(luò)這么好用，數(shù)學(xué)家就可以去探索那些讓他們性能這么好的數(shù)學(xué)性質(zhì)。Lin 和 Tegmark 說：“加強(qiáng)對深度學(xué)習(xí)的分析理解，可能帶來改進(jìn)深度學(xué)習(xí)的方式”。
深度學(xué)習(xí)今年里取得了長足的進(jìn)步。有了這個(gè)改進(jìn)的理解，進(jìn)步的速度注定會(huì)加速。
