上周摘要：進化計算 (Evolutionary Computing) - 人工智能的下一個關鍵；威斯康星州的自動化，越來越易于獲取；如果技術奇點并不是那么可怕，那我們目前做的這些AI風險防范，還有意義嗎；微軟，從移動到AI；詞向量家族新成員，背景矢量CoVes；Facebook 翻譯后端，基于神經網絡獲得更好的結果；利用AI防范盜竊 - 研究人員設計系統來預測哪些零售人員會從雇主身上進行偷竊；利用簡單的網絡進行近最先進水準的分類；Pytorch 2.0升級。
進化計算 (Evolutionary Computing) - 人工智能的下一個關鍵：
...進化計算有點像核聚變動能技術 - 專家們會一直告訴我們，如果給這個技術幾十年時間來發展的話，那么它就會改變世界。雖然進化計算，到目前為止還沒有什么大的成果。
...但這并不意味著專家說的是錯的 - 我們可以預料到的是，進化計算中的各種方法將會產生巨大的影響。只是這些方法的效用，將與它們可使用的計算機數量密切相關。因為進化計算方法的計算效率, 是比不上那些對世界進行了更多假設的系統的。 （實際上，這方面已經很清楚了，例如，OpenAI的進化策略研究表明，可以用進化計算來粗略地模擬DQN (強化學習) 在Atari 游戲上的表現- 它要花費大概十倍多的計算量（但是由于可以進行任意程度的并行化運算，這并沒什么，只要你有錢付電費就行。）
...在這篇文章中，研究人員概述了進化計算方法，相比深度學習，有哪些優勢。敲黑板：進化計算擅長得出先前從來沒有過的全新的東西，進化計算算法本質上是分布式的，一些算法可以一次性優化多個目標，等等。
...閱讀更多關于的進化計算論述：Evolutionary Computation: the next major transition inartificial intelligence?
...希望能看到，討論更多關于計算量權衡的問題。鑒于目前人們正在使用日趨復雜，高保真，數據豐富的仿真（MuJoCo / Roboschool / DeepMind Lab / 許多視頻游戲 / 基于Unity的無人機模擬器等），人們似乎將在一段時間內對計算效率給予高度關注。 而進化計算方法似乎更適合于數據稀少的環境，或者是那些可以使用大量計算機來計算的土豪們。
威斯康星州的機器人與自動化：
... 關于威斯康星州一個部署機器人 (目前還只有兩臺，之后還會更多) 的工廠的長篇報道，來自 Hirebotics - 'collaborative robots to rent' 。這樣做提高了可靠性，還可能節省成本。這個故事的主要告訴了我們，過去尋求解決勞動力短缺的工廠，要么擱置其擴張計劃，要么提高工資招更多人。現在他們有了第三個選擇：自動化。隨著安裝工業機器人價格的下降，你可以做到進一步的自動化。
... 更多: 華盛頓日報
為什么要做AI風險防范？如不存在一個硬起飛技術奇點的話，那就可能沒有任何意義：
技術奇點： 認為隨著技術發展特別是AI技術的發展，在未來某個時間點，技術發展會在很短時間內發生極大，而接近無限的進步。當這個轉折點來臨時，就得社會模式不復存在，新的規則主宰世界。而后人類時代的智能和技術是我們無法理解的，就像金魚無法理解人一樣。
...這是Em Age的作者Robin Hanson所提出的。 Hanson說，現在可以看到，人們開始AI風險研究唯一合理的原因是，為了避免了一個硬起飛場景（即FOOM，系統進行爆炸式的自我進化), 也就是說，一個團隊，開發了一個能夠自我進化的AI系統，對于某項任務的能力，它將比世界上剩余此類系統的總和都要強。
... Hanson說，FOOM方案的一個站不住腳的地方是，它需要一個組織設計一個AI，對于地球上其他所有人來說壓倒性的優勢。 “請注意，由于這種局部的快速發展，而去相信最終的機器將非常聰明，甚至比人類更聰明，是不行的。我們也沒有道理，去相信智能機器的世界比今天增長和創新得更快。另外還要提的是，通過提高內部自我提升能力，最初很小的一個AI團隊的能力，可能會快速地超過世界其他地方，包括其他類似的團隊。“
...如果這些所謂的FOOM方案是很有可能的話，那么目前關鍵點事，為與AI風險相關的事物，開發出一個廣闊而又深入的全球技能庫。如果這些FOOM方案不太可能的話，那么世界現有的流程 - 法律制度，國家，競爭性市場 - 可能會自然而然地處理掉這些人工智能安全問題。
... 更多：'Foom justifies AI risk effortsnow'.
... 如果其中一些想法讓你腦袋轉不過來的話，那么可以試試讀讀這本730頁的電子書，收錄了Hanson和MIRI的Eliezer Yudkowsky之間在各種辯論。
微軟改變了其重心：從移動端到AI
... Microsoft Form 10K 2017：愿景：“我們的戰略是，為智能云以及融入了AI的智能邊緣，創建一流的平臺和生產力服務。
... Microsoft Form 10K 2016：愿景：“我們的戰略是，為一個移動優先和云優先的世界，打造一流的平臺和生產力服務。
詞表達再利用，由 ImageNet 來的啟發...
... Salesforce的AI研究機構，發現了一種相對簡單的方法來提高用于文本分類的神經網絡的性能：首先，獲取在某項任務（如機器翻譯）訓練期間生成的隱藏矢量，然后將這些背景矢量 (Context Vector) CoVes 饋送到另一個為其他自然語言處理任務而設計的網絡去。
...這個想法是，這些向量可能包含有語言的有用信息，新的網絡可以在訓練過程中，使用這些向量來提高對某些任務的直覺性回答。
...結果：雖然這可能只是一個“加點水”的技術 - 但在各種不同任務與數據集的神經網絡的測試中，在使用GloVe和CoVe輸入組合后，顯示出2.5％和16％ (!) 之間的改善。進一步實驗表明，通過在輸入添加字符向量，某些任務可以進一步性能提升。但不足的是，這種系統的總體流程似乎相當復雜，因此具體實現會很有挑戰性。
... Salesforce在說明如何產生CoVe輸入的博文中，發布了其表現最好的機器翻譯LSTM系統代碼。GitHub上獲取代碼。
Facebook將其ENTIRE翻譯后端，從基于短語的轉換為了基于神經網絡的翻譯：
... Facebook已將其整個翻譯基礎設施移向了神經網絡后端。它能處理2000多個不同的翻譯方向（比如德語到英語是一個方向，英語到德語將是另一個），每天大概處理45億個不同的翻譯。
... 組件：Facebook使用了序列到序列的LSTM網絡。該系統在Caffe2中實現，Caffe2是由Facebook部分參與開發的AI框架（與Google TensorFlow，Microsoft CNTK，Amazon MXNet等進行競爭）。
...結果：部署此系統后，Facebook的BLEU (一種機器翻譯的自我評估的方法) 評分上升了11％
... 在code.facebook.com閱讀更多
利用AI防范盜竊 - 研究人員設計系統來預測哪些零售人員會進行偷竊：
...懷俄明大學的研究表明，如何將AI用于分析與零售人員相關的數據的話，這有助于雇主預測哪些人最有可能進行偷竊。
...數據：為了進行研究，研究人員獲得了一個數據集，其中包含了大量的主要零售流程中收銀員活動的30維特征圖。這些特征包括收銀員和商店識別號以及,其他未指定的數據點。總體而言，研究人員收到了超過1,000個離散批次的數據，每批可能包含多個收銀員的信息。
...研究人員使用三種不同的技術分類數據：主成分分析（PCA），t分布隨機相鄰嵌入（t-SNE）和自組織特征圖（SOFM）。 （PCA和t-SNE是目前已發展很完善的降維技術，而SOFM還有點模糊，它使用神經網絡來實現能與t-SNE相比的可視化，并提供對可視化的檢查。）
...每個分類過程都是以無監督的方式進行的，因為研究人員缺乏完全標注了的數據。
...其他數據特征包括：優惠券占總交易的百分比，總銷售額，退款數量的計數以及收銀員與特定信用卡互動次數的計數等。
...研究人員最終發現SOFM能夠捕捉到更難以描述的特征信息，并且更容易可視化。下一步是采取正確標記了的數據，以提供更好的預測功能。之后，我預計我們會看到其在商鋪中的初步試驗，雇主會進一步壓制低收入雇員欺騙雇主的能力。
客觀來說，減少盜竊是好的，但它也說明了AI可以如何為雇主提供一個前所未有的監督和控制能力 (1984?)。這不由提起了一個問題，一個能夠接受少許盜竊，并更輕松一些的工作環境是更好一些，還是更差呢？
...閱讀更多： Assessing Retail Employee Risk Through UnsupervisedLearning Techniques
PyTorch 升級2.0：
... Facebook發布了2.0版的PyTorch，其功能豐富。 最有趣的是分布式PyTorch，它可以讓張量分布到多臺機器。
...在GitHub的發行說明中閱讀更多內容。
... (于是1的document都還沒讀完，捂臉)
保持傻白甜！使用簡單網絡進行接近最先進水準的分類：
...隨著人工智能在應用方面的發展，開發人員越來越試圖為神經網絡系統減肥了，以便能夠在個人手機上就能運行，而且不用大量占用計算資源。這種趨勢促使Google研究人員考慮，如何在不使用（計算上昂貴的）LSTM或深層RNN方法這些流行方法基礎上，來處理一整套語言任務 - 詞性標注，語言識別，分詞，統計機器翻譯的前處理。
...結果：他們的方法在一系列任務中獲得了很好的SOTA成績，同時具有最多占用在3 Mb，通常在幾百kb的內存占用優勢。
...那么意味著什么呢？ “雖然在條件允許情況下，大型和深層次的模型可能是最準確的。但是簡單的前饋網絡，可以在運行時間和內存方面提供更大的優勢，我們應該以其作為一個基準。”
...閱讀更多：Natural Language Processing withSmall Feed Forward Networks.
...其他方面，除了Google已經開始實現它在論文中所講的外。一個傾向于對AI的未來做出一些很大的宣傳的AI未來主義者 Ray Kurzweil （有良好的記錄 :joy:），正在領導著一個團隊，該公司的任務是，基于Ray自己關于大腦工作原理的理論，搭建出更好的語言模型。迄今為止，他們已經開發出了一個更加具有計算效率的類似 Smart Reply 的服務。Smart Reply 是Google構建的一個會自動生成，并建議對電子郵件回復的服務。在連線雜志中閱讀更多。
