Neil Zhu,簡書ID Not_GOD,University AI 創始人 & Chief Scientist,致力于推進世界人工智能化進程。制定并實施 UAI 中長期增長戰略和目標,帶領團隊快速成長為人工智能領域最專業的力量。
作為行業領導者,他和UAI一起在2014年創建了TASA(中國最早的人工智能社團), DL Center(深度學習知識中心全球價值網絡),AI growth(行業智庫培訓)等,為中國的人工智能人才建設輸送了大量的血液和養分。此外,他還參與或者舉辦過各類國際性的人工智能峰會和活動,產生了巨大的影響力,書寫了60萬字的人工智能精品技術內容,生產翻譯了全球第一本深度學習入門書《神經網絡與深度學習》,生產的內容被大量的專業垂直公眾號和媒體轉載與連載。曾經受邀為國內頂尖大學制定人工智能學習規劃和教授人工智能前沿課程,均受學生和老師好評。
進化計算的應用
將進化原理嵌入計算機算法的假設可以創造出強大的機制來解決困難、理解不足的問題,這個現象被很多的證據證實。進化算法求解器已經證明了可以針對若干個科學和技術領域中困難的問題給出高質量的解,并且有比傳統優化和設計方法更好的特點。
一個有說服力的例子是設計領域的,為 NASA 空間技術 5 (ST5)飛行器設計的 X-band 天線。正常的處理方法非常耗時也需要大量人力投入,對專家知識尤其依賴。進化算法方法不僅能夠發現有效的天線設計,而且可以隨著需求變動而快速調整設計。這些天線中的一個就被實際制造出來并部署在 ST5 飛行器上,因此成為了宇宙中第一個由計算機進化出來的硬件。這個項目同樣展示了進化方法相較于手工設計的一個優勢。進化算法生成并測試成千個完全新的解,很多都是非同尋常的結構——人類天線設計專家是不可能想到的。進化算法同樣在其他的航空學和航空航天工業工程任務上取得了成功。這個領域中的問題一般都有很復雜的搜索空間和多個矛盾的目標函數。基于群的方法如進化算法已經證明了在解決這樣的組合挑戰上是有效的。我們給這樣的問題取了個名字——多目標進化算法改變選擇函數來顯式地獎勵多樣性,所以他們會發現和維護高質量的代表了目標函數之間的不同平衡的解——技術上講,它們近似了 Pareto 最優狀態(Pareto Front)的多樣化節段(diverse segment)。很多例子可以在生物信息學中發現。例如,通過挖掘 ChEMBL 數據庫(包含了有藥物特征的生物活性分子),化學結構的變換的集合被識別出來,可以在自動藥物設計應用中被用做突變算子。這些結果尤其是在處理多靶向的如多聚藥理學中,展現了清楚的利益。這個例子漂亮地講述了其他方法或者已有的知識,可以輕易地加入或者適應在進化計算的框架中。
數值和組合優化是進化算法的重要應用領域。黑盒優化是一個特別有挑戰性的問題,其中目標函數的特性(相較于分析方法)更需要數值方法,而梯度信息僅僅可以由采樣解來近似。一個系統化的實驗研究在一系列人造的黑盒優化問題上對比了數學規劃和進化計算,這些問題有著不同的計算時間和消耗的資源。這些結果表明數學規劃算法——設計成提供搜索初始時的快速過程——超過了進化算法如果評價的最大數目很低的時候,但是如果計算預算增加時情況就反過來了。終極情形下,研究表明進化算法 BIPOP-CMA_ES 是能夠找到很多類的函數的嘴有點,有著更高的精確度和更快的時間性能。進化策略的實力(尤其是非常成功的 CMA-ES 變體)對真實場景中的工業級的黑盒優化問題被大家廣泛討論。從學術研究和工業應用的數年的證據表明進化策略的利基性已經通過非常有限的計算資源的有多少解可以讓他們的適合度被評估優化任務已經形成。盡管這個發現和傳統的經驗不同,其實存在這一個放大的支持。
機器學習和建模是另一個顯著的領域,這里進化算法也證明其左右,尤其是在當前很多方法依賴于(暴力的)貪心算法和局部搜索算法來改良和優化方法。例如,神經進化方法使用進化算法來優化神經網絡的結構、參數或者同時進行兩者的優化。在機器學習的另外分支里面,使用進化計算來設計算法也是非常有效的技術,比如說歸納決策樹。另外,進化算法也用在了預測問題上。例如,解決預測一個蛋白質三級結構的問題,算法可以設計成進化一個自動預測器的關鍵部分——具有用來估計一個結構的能量功能。當前最佳的方法被能量項的線性組合的限制了,而遺傳規劃方法輕易地通過更加豐富的語法適應了表示。遺傳規劃算法找到的最優的能量函數取得了顯著的預測指導。這個算法能夠自動發現最有效和最無效的能量項,而不需要任何有關這些項和預測誤差的關系。
對物理實體的控制器的設計,如機器或者機器人,已經被看做是另一個成果豐富的領域。例如,集裝箱起重器操作的控制策略可以使用一個物理起重器進化來確定適合度值。控制器的進化同樣可能在原處進行,例如機器人群眾,而不是之前那種運作階段發生。進化機器人是特別具有挑戰性的應用,因為這里有兩個進化計算分支不會遇到的問題:相當弱的和帶噪聲的可控制設計細節和目標特征之間的關聯;解需要在大量可變條件上表現很好。一般在進化計算中,存在著三步的評價鏈:基因型到表型到適合度。對于機器人,這個鏈增加了一步:基因型到表型到行為再到適合度。這四步的鏈中,機器人形態和控制器形成了表型。然而,這個行為應當被看做是表型,因為它是將要被評價的實體。而且,行為依賴于很多外部的因素,產生了一個對機器人來說不可預估的環境。盡管如此,因為自適應移動機器人的手工設計是非常困難的,進化方法具備較大的潛在優勢。這些優勢包含了連續和自動設計的可能性、制造和部署有著非常不同的形態學和控制系統的機器人。一些研究表明了這種方式的好處,用人工進化自動產生的機器人控制系統跟用其他設計方法產生的設計更加簡單或者高效。在所有例子中,機器人剛開始表現出沒有協調好的行為,但是在幾百代之后已經能夠在大量的實驗的條件下達到足夠高效的行為。
當前最優的一些算法,橫跨應用在很多的問題領域,都是通過混合進化搜索和已有算法設計的,特別是局部搜索方法。這種混合的方法可以被看作,把“終身學習”加到了進化的過程中。我們逃離了自然進化的束縛(比如說后代學到的特點信息將能夠被立即寫入到基因型之中),而且可以進行個體和社會學習的新穎類型的實驗,所以說,memetic 算法的理論和實踐已經成為了進化計算的一個重要領域。當在增強的方法系統化地在好的解附近搜索時,這樣的混合方法通常比純粹的進化算法(通過突變進行的隨機搜索)要好,能得到更好的更快的解。例如,細胞抑制的問題(決定發布的統計表中哪些數據細胞用來保護應激)就是用圖的劃分、線性規劃以及進化優化對感染細胞考慮的序列的這種方式解決的。這樣給出了可以保護已發布的統計表在一個確定的規模上,這個比之前方法獲得大小要增加了幾個階。Memetic 算法解決真正困難的問題上方法中屬于非常好的技術。