1. 培養人才的目標/人才應有的素質

能“聽話”、有悟性、能堅持、能“跳出來”，培養能獨立解決問題的人

• 所謂“聽話”，不是對老師”逆來順受”，被動服從，而是辨得出有益的建議，聽得進正確的意見，尤其在“冷啟動”階段，可以少走不少彎路，畢竟，老師踩過、見過的坑才是很寶貴的財富；

• 悟性，不完全等同于智力，是化繁為簡、舉一反三的能力，可以通過針對性的思考來鍛煉、強化，不過前提是要有足夠寬廣的視野；

• 堅持，相當重要，研究生階段時間不長，能堅持，再小的點也能做深、做精；不堅持，再聰明也難成大事；

• 能“跳出來”，是更高層次的要求，能鉆進去固然好，能“跳出來”才能客觀、全面思考，才能找到”全局最優“。多交和自己不同的朋友。

• 我們培養人才的目標說來簡單：獨立思考、獨當一面的問題解決者

2. 如何看大量人涌入機器學習領域

好事，前提是有持續的好奇心

• 這兒的好奇，是在一定了解的基礎上源源不斷的激情。不好奇，就缺少內在的驅動力，很難真正融入到相關的研究中，也很難做到舉一反三。

3. 如何看待高校學術大牛進入工業界？

短期看，師資或有所流失；長遠看，對高校未必是壞事

• ”學而優則業“，折射出高校科研體制不完善、業界高收入誘惑、學界缺少數據場景、個人規劃和高校環境矛盾等問題，有一定的必然性，擋恐怕擋不住，不如化堵為疏，長遠規劃。
• 長遠看，一方面學校有更多機會和企業建立多層面合作，關系也更為融洽，一定程度上促進”產學研用“；另一方面，很多人最后會回流高校，帶著他們在企業積累的實際經驗和對行業的洞見，豐富和完善高校的教學內容，培養更”接地氣“的實用人才。如此看來，未嘗不是件好事。

4. 深度學習讓計算機視覺的門檻降低了嗎？

應用角度降低了，研究角度提高了

• 從應用角度，深度學習(表示學習)有效代替了特征工程的大部分工作，你不必了解視覺特征，不必掌握SIFT，不必知道Hough變換，就可以完成圖像的檢測、分割和分類，確實降低了視覺計算的門檻；
• 從研究角度，深度學習把大家原先對圖像本征表示的關注，轉移到網絡結構的設計上，把所有人放在了(幾乎)同一個高功耗、高計算復雜度的起點上，很多論文也陷入了”小修改，看結果“的套路，對圖像本身的觀察和思考見少，罕有讓人拍案的巧思，脫穎而出的難度反而提高了；

某種意義上，深度學習讓不少同學變“懶”、變“笨”了，他們不再花時間認真觀察和思考面對的問題，太多時間花在“跑模型時心安理得的各種荒廢”上，這個傾向很不好，有必要敲響警鐘。

5. 什么樣的問題深度學習能解決，什么不能？/深度學習的不足是什么

參見深度學習的局限性

• 到目前為止，深度學習的唯一真正的成功是使用連續幾何變換將空間 X 映射到空間 Y 的能力，但還要給出了大量的人為注釋的數據。用術語來說：多層可參數化的可微分的非線性模塊所組成的模型，可以用 BP 算法來訓練。
• 深度學習取得成功的三大原因
  • 逐層的處理
  • 有特征的內部變化
  • 有足夠的模型復雜度

Deep learning, a subfield of machine learning that uses "deep neural networks," has achieved state-of-the-art results in fields such as image and text recognition. --- SIAM NEWS

• 推理和抽象上，還有很長的路要走。
• 調參費事，不同任務之間的調參經驗不能借鑒；可重復性差；模型復雜度需要事先指定，但是又不知道如何設定；理論分析困難，黑箱；需要大量訓練數據。
• 神經網絡獲勝的往往就是在圖像、視頻、聲音這幾類典型任務上，而在其它涉及到混合建模、離散建模、符號建模的任務上，其實神經網絡的性能比其它模型還要差一些。
• 微軟亞洲研究院：圖像識別的未來
  挑戰：如何提高模型的泛化能力；如何利用小規模數據和超大規模數據；全面的場景理解（語義/實例/全景分割）；自動化網絡設計；

目前的算法并不能很好地利用這種超大規模數據 。在包含了3億張標注圖片的JFT數據集上，各種深度網絡的性能隨著訓練數據量的增加，僅僅呈現出對數級的提高（圖一）。Radiology 11月有篇識別胸片的paper也是類似的結論，使用2W和20W數據訓練出來的模型沒大的差別。

方向：整合常識；幾何推理；關系建模；學習如何學習（元學習）；

6. 研究成果和產業實際應用的巨大差距在哪里？

研究與應用的差距主要在工程性和實際問題的針對性

• 研究更關注問題本身，問題找對了，研究就成功了一半，對問題的本質參透了，就已勝利在望，不論結果如何，深度到了，就是成功；
• 應用更關注結果的實用性，針對有實際需求的問題，找到可行好用的解決方案，還要對成本、效果、性能綜合權衡，這也是很多新算法在工程里難以迅速推廣應用的主要原因。

我們提倡研究人員要有“應用思維”，在實際場景實際需求里找到值得研究的問題；工程人員要有“學術思維”，盡可能抓住問題的本質，在深入研究的基礎上深度優化解決方案。

7. 大算力時代高校如何突破

• 認清自身定位，比拼大算力工程優化恐難有勝算，不如轉而研究更有理論價值的基礎問題，為新方法和框架探索背后的理論依據和可解釋性；聚焦和挖掘實際場景里“小數據”問題，結合特征工程、傳統機器學習方法和深度學習思想尋求對問題的深入理解；另外，可以著力構建“重用”性更好的科研體系，通過預訓練模型共享，應用遷移學習、強化學習等技術，最大限度減少重復訓練，通過重用節省算力資源，提高實驗效率。
• we need a clear causal explanation for why one algorithm behaves differently from another.
  ——轉自陳老師微博（愛可可-愛生活）

8. 如何學習

課堂知識應用到工程界的本質：學校里面學的都是單點孤立的知識，但不清楚在一個特定的應用問題中，每個孤立的知識起什么作用。只會單點知識，往往干的是螺絲釘的活。
面對一個書本上沒有見過的問題，利用所學的知識找到新的解決方案。工程實踐中要求的是能夠把所學知識綜合起來，并解決未知問題的能力。

個人成長路徑：從學術環境中得到系統的學科知識；從產業環境得到系統應用的邏輯以及相應的技術需求。學習的過程中把一些共通的東西串起來。比如卷積：一維，二維，多維。找到不同孤立知識點之間的聯系。
理解知識真正的邏輯；理解產業的需求。學以致考→學以致用→用以致學，在實際中發現自己需要但是還沒掌握某些知識，再來學習會更有目的性，更有效率。通過解決問題來學習，形成知識的網狀結構。

深度學習框架的本質：管理數據流與控制流。
為什么tf有個延遲計算的機制？符號執行！！！為什么這樣計算會更適合DL？先對計算圖進行優化后在進行計算，能大大加快計算。

AI研究院的價值。大部分研究院其實都**，包裝上的需求，拉投資、政府支持。吸引人才的一種方案，聽著更高大上一些。大部分企業的研究院實際上還是針對具體問題做落地的產品（包裝了的研發部門）。“好的工程師==半個產品”！

以上內容來自人工智能前沿與產業趨勢——第十四講：工程實踐與人才成長路徑（王詠剛）

如何判斷一個AI產品是否值得投資？

• 創新工廠：邏輯派；多元考察，理解整個應用邏輯。團隊邏輯，技術+商務+產品。
  AI技術的門檻提升了，因為對數學的要求更高，不是以前那樣上個學習班突擊一下就能上手了。但條條大路通羅馬，AI公司還需要人事、財務等等非AI的人員，通過這些渠道進入AI行業也是不錯的選擇。

找工作

• 大公司vs創業型公司
  兩條不同的路：大公司會要求/學到頂尖的細分的專業知識；創業型公司會要求/學到很廣闊的綜合知識；

企業案例

• Rethink Robotics的回憶與啟示-張萌知乎
  任何機器人產品首先必須是合格的、能做事的機器人，然后增加的亮點才有意義。只有亮點不能完成任務的機器人是沒有用的。換句話說，滿足需求之后噱頭才能加分。
  從一開始就為了達到某個極低成本目標而設計的產品，往往在連串妥協之后無法控制住成本，同時在其他方面（如性能）引入更多的妥協。
  貿然采用大量自主設計的、未經驗證的核心元器件，對研發過程帶來的風險遠大于收益。
  夠用的傳感器（數量、種類）就是最好的，堆積很多沒用意義。
  一個實業企業應該先做出有用的產品，再把它做得更好，而不是反過來。Rethink的核心問題是沒能將其產品與其他產品的不同轉化成使用者能夠實際感受到的益處。