Neil Zhu,簡書ID Not_GOD,University AI 創始人 & Chief Scientist,致力于推進世界人工智能化進程。制定并實施 UAI 中長期增長戰略和目標,帶領團隊快速成長為人工智能領域最專業的力量。
作為行業領導者,他和UAI一起在2014年創建了TASA(中國最早的人工智能社團), DL Center(深度學習知識中心全球價值網絡),AI growth(行業智庫培訓)等,為中國的人工智能人才建設輸送了大量的血液和養分。此外,他還參與或者舉辦過各類國際性的人工智能峰會和活動,產生了巨大的影響力,書寫了60萬字的人工智能精品技術內容,生產翻譯了全球第一本深度學習入門書《神經網絡與深度學習》,生產的內容被大量的專業垂直公眾號和媒體轉載與連載。曾經受邀為國內頂尖大學制定人工智能學習規劃和教授人工智能前沿課程,均受學生和老師好評。
我愣是跟完了整個WSDM2015會議。由于這次會議聚焦在搜索和數據挖掘,跟我現在的工作相當地接近。所以整個過程也是我各種想法的激發和完善的階段。
冬季課程的報告涉及了深度學習在自然語言處理中的應用、自然語言處理、社交網絡分析和大規模機器學習。
我比較熟悉的是話題模型、word2vec、community detection和基本的機器學習技術。所以在聽報告的過程中,關于這個方向的我會嘗試與真實的場景發生關聯。事實上,這些嘗試我在之前的工作中已經或多或少的應用了。然而這次報告中關于社會網絡分析的部分有一種新的建模方式,盡管可能通過概率模型來建模community已經早就出現,但是這么正式和嚴格的定義還是令我感到驚喜。(后來查證之后,還有若干的定義方式,以后有機會將這些系統地整理一遍,看看其中是不是可以找到一些本質上關聯的特性)
關于word2vec的應用,我們可以嘗試應用word2vec在用戶和文檔上,將他們映射到一個潛在的語義空間上。這樣可以直接進行相關的計算。
WSDM主會的tutorial部分,我選擇了聽了其中的兩個topic。因為目前我們的場景不會產生過大的數據,主要是業務邏輯的設計,所以選擇了動態信息檢索和實時競價這兩個。分別由Georgetown大學和UCL的教授和博士生講述。
隨后每天的Keynote都是學術界和業界的領軍團隊給出的,第一天是UC Berkley的Franklin,主要是在介紹spark。第二天是Facebook的Lada Adamic,給了關于社交網絡中得信息周期報告,這個報告多是統計實驗的結果。第三天則是Cornell的教授講解了Learn from user interaction。其中最后一個technique的taste最強,給出了模型,以及計算的框架。
實際上讓人最激動的是Stanford的年輕教授Jure,他以類機關槍的語速講了如何從圖論或者網絡科學的角度對推薦系統的研究,并且給出了一個實際的產品Pinterest。主要的思路就是構建出一個產品之間的社交網絡(product graph)。
有未來感的報告來自google的研究員Kuma,后來的最佳paper就是這篇。Inverting a Steady-State。
星期五的workshop,我全程follow深度學習在NLP和搜索中的應用。
又聽了一遍Jianfeng Gao博士關于DSSM的介紹。令我想起winter school上,他詳細講解公式推導的場景。還留了一條題。我還沒有去算。
然后是來自NYU-shanghai的Zheng Zhang教授,其報告啟發性很強,除了technique的講述,還有個人對machine intelligence的思考。
下午是華為諾亞方舟實驗室的關于Convnet的介紹。還有復旦學者關于他們對深度學習在NLP中的應用的報告。
大腦的容量有限,肯定放不下這么多的東西,所以就盡可能地把這些信息整理了一下。這幾天下來,感覺是把大腦撐了撐,還是可以的。接下來,就是把這些想法和實際場景結合,給出一些產品功能的突破。
后記:
之前學過game theory的一點皮毛,所以常常會從game的角度來看這些問題。由于game theory的通用性,基本上還都是可以說清楚的。現在又有學者嘗試將機器學習和game theory結合,這一點我覺得很靠譜。可以設計出更好的機制,讓一個game中的players都能達到某種程度的滿意。