沒人知道為什么深度神經(jīng)網(wǎng)絡(luò)這么擅長解決復(fù)雜問題。現(xiàn)在物理學(xué)家說秘密藏在物理法則里。
過去幾年中,深度學(xué)習(xí)技術(shù)改變了人工智能的世界。一個(gè)一個(gè)曾被認(rèn)為是人所特有的那些能力和技巧,被越來越強(qiáng)大的機(jī)器所征服。現(xiàn)在,深度神經(jīng)網(wǎng)絡(luò)已經(jīng)在人臉識(shí)別和物體識(shí)別方面超越了人類。他們甚至學(xué)會(huì)了古老的圍棋,并且擊潰人類棋手。
但是有個(gè)問題:沒有數(shù)學(xué)理論能解釋,為什么層疊的網(wǎng)絡(luò)會(huì)擅長這些挑戰(zhàn)。數(shù)學(xué)家對此完全困惑。盡管深度神經(jīng)網(wǎng)絡(luò)取得了巨大的成功,沒有人能確定它們是怎么做到的。
今天哈佛大學(xué)的 Henry Lin 和 MIT 的 Max Tegmark 的工作改變了這個(gè)狀況。這兩位說,之所以數(shù)學(xué)家對這個(gè)問題這么尷尬,是因?yàn)閱栴}的答案在于宇宙的特性。換句話說,答案源于物理規(guī)則,而不是數(shù)學(xué)規(guī)則。
首先,讓我們設(shè)定問題:就拿從百萬字位灰度圖片區(qū)分貓和狗為例。
這樣的圖片包含一百萬像素,每個(gè)像素可以從256個(gè)灰度里取值。理論上,一共存在256^1000000 張可能的圖片,其中每一張都需要計(jì)算圖片上到底是只貓還是只狗。可是神經(jīng)網(wǎng)絡(luò),只用區(qū)區(qū)幾千個(gè)到百萬個(gè)參數(shù),不知怎么著就能輕松完成這個(gè)任務(wù)。
用數(shù)學(xué)家的語言說,神經(jīng)網(wǎng)絡(luò)的機(jī)理是用簡單的數(shù)學(xué)函數(shù)來近似復(fù)雜數(shù)學(xué)函數(shù)。當(dāng)它在分類貓狗圖片的時(shí)候,神經(jīng)網(wǎng)絡(luò)用一個(gè)函數(shù),這個(gè)函數(shù)的輸入是一百萬個(gè)灰度像素,輸出是它代表貓或者狗的概率分布。
問題是,這樣的數(shù)學(xué)函數(shù)的數(shù)量,比可能的神經(jīng)網(wǎng)絡(luò)的數(shù)量,多出很多數(shù)量級。然而深度神經(jīng)網(wǎng)絡(luò)不知怎么著就是能得到正確答案。
現(xiàn)在 Lin和Tegmark 說他們找到了原因。答案是:宇宙是由所有可能的函數(shù)中,極小的一個(gè)子集來支配的。換句話說,所有的宇宙法則都可以用數(shù)學(xué)函數(shù)來表達(dá),而這些函數(shù)只有一些很不尋常的簡單屬性。
所以深度神經(jīng)網(wǎng)絡(luò)不需要去近似所有可能的數(shù)學(xué)函數(shù),而僅僅是一個(gè)很小的子集。
為了恰當(dāng)理解這個(gè)問題,考慮一個(gè)多項(xiàng)式的階數(shù),也就是它的最高方次項(xiàng)的次數(shù)。比如一個(gè)二元方程 y=x2 的階數(shù)是2,方程式 y=x24 的結(jié)束是24,以此類推。
很明顯,階數(shù)是無限的,而且自然定律中只出現(xiàn)了所有多項(xiàng)式中非常小的一個(gè)子集。Lin和Tegmark說:“因?yàn)槟承┎豢芍脑颍覀兊挠钪婵梢杂玫碗A多項(xiàng)漢密爾頓方程精確描述”。一般情況下,物理定律多項(xiàng)式的階數(shù)載2到4之間。
物理定律還有其他一些重要性質(zhì)。比如,在旋轉(zhuǎn)和位移方面,它們通常是對稱的。把一只貓和一條狗旋轉(zhuǎn)360度,它們看起來和原來一樣;把它們平移10米或者100米,它們看起來還是那樣。這個(gè)性質(zhì)也大大簡化了貓狗識(shí)別過程的近似任務(wù)。
這些性質(zhì)意味著,神經(jīng)網(wǎng)絡(luò)不需要去近似無窮多的所有可能的數(shù)學(xué)函數(shù),而只需要由簡單函數(shù)組成的很小的一個(gè)子集。
神經(jīng)網(wǎng)絡(luò)還利用宇宙的另一個(gè)屬性:宇宙的層級結(jié)構(gòu)。Lin和Tegmark說“基本粒子組成原子,原子組成分子,細(xì)胞,器官,行星,星系,銀河系,等等”。復(fù)雜結(jié)構(gòu)常常是經(jīng)過一系列簡單步驟形成的。
這也是為什么神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)非常重要:這些網(wǎng)絡(luò)的分層,可以逼近因果關(guān)系中的步驟。
Lin 和Tegmark 舉了宇宙中微波背景輻射的例子。微波背景輻射是宇宙大爆炸的回響,至今彌漫在宇宙中。近些年,不同的宇航設(shè)備用越來越高的分辨度記錄了這些輻射。當(dāng)然,物理學(xué)家很困惑這些記錄下來的微波的形式的成因。
Tegmark 和 Lin 指出,無論原因是什么,毫無疑問它們是某種因果性層級關(guān)系的結(jié)果。他們說:“一些宇宙參數(shù)(暗物質(zhì)的密度,等)決定了我們宇宙的密度波動(dòng)的能量譜,能量譜又決定了從宇宙早期延伸至今的宇宙微波背景輻射的模式,微波背景輻射又和我們銀河系的前景射頻噪音一起,形成了頻率依賴的天空圖譜,被我們衛(wèi)星載的望遠(yuǎn)鏡記錄下來。”
以上每一個(gè)因果層都包含了更多的數(shù)據(jù)。一開始只有一小撮宇宙參數(shù),可是哪些圖譜和其中的噪音包含了億萬數(shù)值。物理學(xué)的目標(biāo),就是分析大量的數(shù)值,揭露那一小撮參數(shù)。
而當(dāng)一些自然現(xiàn)象呈現(xiàn)出層級結(jié)構(gòu)時(shí),神經(jīng)網(wǎng)絡(luò)使得分析這些現(xiàn)象顯著地變?nèi)菀住?/p>
Tegmark 和 Lin 得出結(jié)論:“我們表明了,深度而低成本的學(xué)習(xí),不但依賴數(shù)學(xué),更依賴物理學(xué)。物理偏愛某些類的異常簡單的概率分布,而深度學(xué)習(xí)異常適合對于這些分布建模。”
這是有意思、重要、并有重大影響的工作。人工神經(jīng)網(wǎng)絡(luò)眾所周知是基于生物神經(jīng)網(wǎng)絡(luò)發(fā)展出來的。所以,Lin 和 Tegmark的想法不但解釋了為什么深度學(xué)習(xí)機(jī)器這么好用,也解釋了為什么人腦能夠理解宇宙。不知怎么著,大腦進(jìn)化出了這么一個(gè)理想的結(jié)構(gòu),讓它很適于破解宇宙的復(fù)雜。
這項(xiàng)工作為人工智能取得更顯著進(jìn)展打開了局面。既然我們終于理解了為什么深度神經(jīng)網(wǎng)絡(luò)這么好用,數(shù)學(xué)家就可以去探索那些讓他們性能這么好的數(shù)學(xué)性質(zhì)。Lin 和 Tegmark 說:“加強(qiáng)對深度學(xué)習(xí)的分析理解,可能帶來改進(jìn)深度學(xué)習(xí)的方式”。
深度學(xué)習(xí)今年里取得了長足的進(jìn)步。有了這個(gè)改進(jìn)的理解,進(jìn)步的速度注定會(huì)加速。