真正的人工智能可能毀滅這個世界——但前提是人工智能可以被實現。
原文By Paul Ford February 11, 2015
翻譯By Lucent Moda July, 2017
信任計算機去控制復雜的系統。
幾年前我和一個創業的朋友喝咖啡。他剛滿40，生病的父親和背部疼痛讓他感覺自己快要被生活壓垮。 “別笑話我，“，他說， ”我可是指望著奇點吶。“
我朋友在科技領域工作；他看到了更快的芯片處理器和網絡帶來的巨大變化。他相信，在他中年時，機器的智能會超過人類——一個被未來學家稱之為奇點的時刻。一個友善的超級智能以更快的速度分析人類的基因，解開青春不老的秘密。至少，它可能知道怎么治好背部的疼痛。
可是，如果它不這么友善呢？領導牛津大學人類未來研究所的哲學家Nick Bostrom，在《Superintelligence》描述了這樣一種場景，引發了對人工智能的未來的大量討論。假設有有一個名字叫做“回形針最大化”的機器，它的目的就是盡可能的制造更多的回形針。現在，讓我們再想象一下，這個機器變得無比的智能。為了達到目的，他可能制造出一種新的，更有效率的回形針生產設備——直到，它將所有的東西都變成回形針，如同米達斯把一切都變成黃金。
你也許會說，不用擔心，只需要編程讓它只制造一百萬個回形針就停止了啊。但是，假如它完成之后決定檢查一下工作呢？計數是否準確？無疑它需要變得更加聰明。這個超級智能的機器制造某種還未發明的、原始計算材料（姑且叫它“計算單元”），然后用它來檢查每一個疑問。每一個疑問引發另外的疑問，直到整個地球都被轉化成這種“計算單元”，而不是那一百萬個回形針。
其實，Bostrom并不認為回形針制造器會真的出現。這是一個思想實驗：用來表明無論多么精心設計的系統都無法約束極端的機器智能。不過他確信，超級智能肯定會產生，有可能會很棒，Bostrom認為也有另外一種可能：它不再需要人類。或者做了一些事情，毀滅了整個地球。第八章的標題是：默認的結局是毀滅嗎？
如果你覺得很可笑，這很正常。批評者諸如機器人先鋒Rodney Brooks評論道，當我們說計算機思考或者正在變得聰明時，這些擔心AI會偏離正常軌道的人對計算機在做什么有所誤解。從這個角度來看，Bostrom所描述的超級智能會在遙遠的未來，也許永遠都不會出現。
但依然有很多聰明而有見地的人通知Bostrom的觀點，并表示憂慮，這又是為何呢？
自由意志
機器可以思考嗎？ 這個問題從一開始就給計算機科學蒙上了一層陰影。阿蘭圖靈在1950年提出了一個觀點：可以像教小孩一樣教機器。1955年，LISP語言的發明者，約翰 · 麥卡錫，發明了”人工智能“這個詞。60年代和70年代，AI研究人員用計算機來識別圖像、在不同語言之間進行翻譯，識別自然語言中的指令，而不僅僅是代碼，與此同時，計算機最終發展出可以交談和思考的能力——進而變得邪惡——的看法開始進入主流文化中。不提老生常談的《2001，空間奧德賽》的Hal電腦，在1970年的電影《巨人：福賓計劃》，展示了一個巨大的閃閃微光的主機計算機將整個世界帶入核戰的邊緣。13年以后，星際大戰游戲也探索了同樣的主題。1973年的電影《西部世界》中，機器人發瘋了，隨后開始了屠殺。
當AI的研究和高遠的目標遙不可及的時候，AI領域的投資大幅縮水，開始了“漫長的冬天”。即便如此，智能機器的火炬在80年代和90年代被諸如科幻作者Vernor Vinge，研究學者諸如機器人專家、計算機視覺專家Hans Moravec，以及企業家兼工程師Ray Kurzweil等接力而向前發展。Vinge讓奇點這個觀點變得流行。Kurzweil1999年出版了《精神機器的時代》。圖靈提出類人智能的假設，而Vinge、Moravec、Kurzweil想的更加深遠：當一個計算機能夠獨立找到方法達到目標，很有可能它具備了內省的能力——修改自己的軟件讓自己變得更加智能。說白了，這樣的計算機能夠自己設計硬件。
像Kurzweil所描繪的那樣，這將是一個美好新時代。這樣的計算有足夠的insight和耐心（用皮秒來計量）來解決納米科技和空間飛行的難題；他們可以提高人類的生活水平，可以讓我們把意識上傳成為一種永生的電子形式。智能可以在整個宇宙中擴散。
對于這種陽光樂觀派，亦存在完全相反的觀點。霍金警告說，由于人類無法和高級AI競爭，這 “會是人類種族終結的魔咒)”。在閱讀了《Superintelligence》之后，埃隆馬斯克發推文說，“希望我們不是數字超級智能的生物啟動加載器。不幸的是，越來越有這種可能性。” 馬斯克接著給未來生活研究所捐助了一百萬美金。和Bostrom的研究中心不同的是，這是一個“致力于降低全人類生存風險”，其中包括來自于 “開發人類水平的人工智能”。
現在還沒有任何證據表明超級智能的存在。事實上，對如何達到通用目的的人工智能，幾乎沒有什么進展，甚至連如何達到目標，也沒有清晰的路徑。近期AI方面的發展，包括Apple的Siri助手和谷歌的無人駕駛汽車， 都揭示出當前技術存在嚴重的局限。在遇到之前從來沒有遇到過的問題的時候，兩者都束手無策。人工神經網絡通過學習可以識別照片中的貓，但是在此之前，需要經過上萬個例子的學習，并且和小孩相比，依然不夠準確。
這也是為什么有許多人，比如Brooks（iRobot和Rethink Robotics的創始人），表示出懷疑。和早期計算機的能力相比，現在的計算機可謂非常令人感到驚訝，即便如此，計算機可以識別出圖片中的貓，但是因為機器沒有意志，它不知道貓到底是什么，也不知道圖片中正在發生著什么，也不具備許多其他人類所獨有的洞察力。按照這個觀點來看，也許可以達到機器具有智能的地步，但是還需要做的工作遠超Bostrom的想象了。假設即便發生了，也不意味著這就是末日審判。從當前的AI發展推導出未來的超級AI，“如同看到熱效率提升的內燃機就推出曲速引擎唾手可得的結論一樣荒謬”, Brooks在近期在Edge.org上寫到。 至少數百年之內，沒有必要擔心“存在惡意的超級智能”。
保險策略
超級智能的崛起可能在遙遠的未來，但因此冒風險就有點不負責任了。加州大學伯克利計算機科學教授，斯圖爾特 羅素(Stuart J.Russell)表達了和Bostrom同樣的擔心。羅素和Peter Novig(Kurzweil在谷歌的同事)一起合著了20年來的AI領域的標準教科書《人工智能：一種現代方法》。
“有很多本應非常聰明的公眾學者對此毫無頭緒”，羅素告訴我，并指出，在過去的十年中, AI的發展極為巨大。公眾也許會從摩爾定律的角度來理解AI的發展（更快的計算機可以做更多的事情），實際上，近期AI的工作更多的是更底層的基礎研究，使用類似深度學習這樣的技術給計算機增加對周遭世界的自動感知。
鑒于谷歌，Facebook和其他公司正在積極創造一種聰明的，“會學習的”的機器，他說，“我想說的是，我們不應該做的事情之一就是全力以赴研發超級智能，而沒有去考慮其潛在的風險。這顯得有點狂熱了。” 羅素做了一個比喻：“這就是像是核聚變試驗。如果你問一個核聚變研究員他們在做什么，他們會說他們的工作就是控制。如果你需要無限制的能量，那么你需要控制核聚變反應。” 同樣的，如果你需要無限制的智能，那你最好把計算機和人類的需求利益保持一致。
Bostrom的書中建議現在開始研究超級智能和人類利益關系。一個超級智能如同上帝一樣，可是他是充滿憤怒的還是充滿愛意？ 這取決于我們（也就是，工程師們）。如同父母一樣，我們必須給孩子設定價值觀。并且不是任意價值觀，而是哪些符合人類利益的價值觀。基本上，我們是在告訴一個神我們應當怎樣被對待。那么，如何做到呢？
Bostrom的設想主要建立在一個叫Eliezer Yudkowsky的思想家提出的“統一推理意志”之上——也即是我們所有人心中更好的自己。我們希望，AI會帶給我們富有、歡樂、充實的人生：解決背部的疼痛，告訴我們如何去火星旅行。并且，由于我們無法真正就某一件事情達成一致，有時候我們需要AI幫我們做出決定——對人類全體利益最有利的決定。 那么，我們應該怎樣把這些價值觀編程到超級智能中呢？用什么樣的數學公式來定義它？這些都是研究者們應該著手去解決的問題，并且是我們這個時代最核心的任務。
對普羅大眾來說，沒有必要因為機器人的可怕而輾轉失眠。我們當前還沒有任何技術能夠達到人工智能。也即是為什么一些超級大公司深度投資研發智能計算機；一個真正的AI可以使得其中任何一家公司獲得難以想象的優勢。不過，他們也應當了解其中的劣勢并且找到規避的辦法。
這點鬧人的建議是基于一封在未來生活研究所的官方網站的公開信（沒有宣稱AI戰爭的來臨）。信中號召在如何收割AI的收益并避免潛在瑕疵方面投入更多的研究，而不是警告人類的生存災難。這封信的簽名有不僅來自AI外行如霍金、馬斯克和Bostrom等人的簽名，還有知名計算機科學家（包括頂級AI研究員Demis Hassabis）。你可以清楚看到他們從哪里來。畢竟，如何他們創造了一個不認同人類價值觀的AI，那就是說，他們還不夠聰明，無法控制他們自己的創造物。
保羅 福特， 自由記者，居于紐約。2014年3月、4月報道過比特幣。
Lucentmoda, 軟件工程師，自由翻譯者，ever young, ever weeping.
聯系翻譯者請電郵lucentmoda@gmail.com
翻譯自MIT Technology Review，鏈接：
https://www.technologyreview.com/s/534871/our-fear-of-artificial-intelligence/
版權聲明：
著作版權@MIT Technology Review.
翻譯文字版權由Lucentmoda保留。可以自由分享，轉載需注明鏈接。
