數據科學簡訊 2023-03-04


頭條


福特宣布新的自動駕駛部門“Latitude AI”

福特致力于自動駕駛汽車的未來,這一聲明證實了這一點。總部位于匹茲堡的 550 人團隊將繼續致力于福特產品中的技術,同時對全自動駕駛汽車進行長期研究。該領域的長期領導者將以各種身份領導團隊。

谷歌云 CEO 為持續的 AI 能力而吶喊

隨著人工智能競賽的升溫,谷歌感受到了壓力。在最近的一次內部會議上,谷歌云 CEO 表示“游戲永遠不會在第一分鐘結束”,并敦促員工團隊合作,繼續提高 AI 能力。他談到了歷史書籍將如何描述谷歌在這段時間的航行,并對搜索的未來表示樂觀。


研究


長卷積和巧妙的令牌混合規模在 64k 令牌時快 100 倍

斯坦福大學系統小組的另一篇論文致力于提高長上下文的語言建模能力。他們致力于構建次二次注意力替代,并建立在他們最近在狀態空間模型和長卷積工作中的大部分工作之上。他們引入了“Hyena Hierarchy”,這是對注意力的一種替代,同時減少了 FLOP,并改進了長上下文擴展。這是令人興奮的下一步,值得一讀。

無限大小的擴散恢復

該論文討論了擴散模型在零樣本圖像恢復中的使用,并提出了處理任意大小圖像的解決方案。當前的方法僅處理固定大小的圖像,但所提出的方法使用 Mask-Shift Restoration 來解決局部不連貫,并使用 Hierarchical Restoration 來緩解域外問題。這些無參數方法不僅可以用于圖像恢復,還可以用于無限大小的圖像生成,使其成為擴散模型的潛在通用工具。

StraIT:使用分層圖像變換器的非自回歸生成

該論文提出了一種稱為分層圖像變換器 (StraIT) 的非自回歸 (NAR) 生成模型,該模型在高質量圖像合成方面優于現有的自回歸 (AR) 和擴散模型 (DM)。 StraIT 利用圖像的分層特性將視覺標記編碼為分層級別,從而減輕建模難度并提升 NAR 模型的生成能力。實驗表明,StraIT 在 ImageNet 上以 256×256 分辨率實現了 3.96 的 FID 分數,而沒有利用采樣或輔助圖像分類器中的任何指導。


工程


使用擴散模型的單眼深度估計 (Github Repo)

作者提出了一種基于去噪擴散模型的單目深度估計方法。他們引入創新來解決嘈雜和不完整的深度圖,并利用預訓練進行監督學習。他們的 DepthGen 模型實現了最先進的性能并自然地表示深度模糊。該模型的插補支持和零樣本性能支持簡單的文本到 3D 管道。

比 ControlNet 更好的控制 (HuggingFace Space)

另一種控制文本到圖像模型的幾何輸出的新穎方法。這次可以指定多個區域進行控制。通用代碼尚不可用,但您可以在此空間中測試模型。

拼貼擴散:精確控制拼貼條件圖像生成

該論文提出了 Collage Diffusion,這是一種拼貼條件擴散算法,可以精確控制生成圖像中對象的空間排列和視覺屬性。通過使用 alpha 掩碼修改文本-圖像交叉注意力并學習每層的專門文本表示,用戶可以逐層編輯生成圖像的各個組成部分并控制圖像協調。 Collage Diffusion 生成全局協調的圖像,比以前的方法更好地保持所需的對象位置和視覺特征。


雜七雜八


EleutherAI 回顧展

Eleuther 是機器學習領域頂級的開放科學合作組織之一,在過去一年半的時間里為該領域做出了許多貢獻。他們發表了 28 篇論文、10 種不同的模型和數十個代碼庫。許多最激動人心的發展,如 RWKV、GPTNeo 和 AlphaFold 的開放復制都來自這個小組。在這里閱讀更多關于他們正在做什么以及接下來會發生什么的信息。

20B Flan UL2 模型發布 - 完全開源,無限制

該指令調優模型的上下文長度為 2048 個標記,是文本生成的優秀基礎模型。憑借改進的 CoT、上下文學習和一般性能(比 FlanT5-xxl 高出 7.4%),該模型在開源語言模型方面向前邁出了一大步。該模型使用 UL2 目標,它是降噪器的混合體,在通用語言建模方面表現出令人印象深刻的性能。重要的是,他們還在 Flan 指令調整過程之前通過額外的 100k 步訓練消除了對繁瑣模式標記的需求。

OpenAI CTO Mira Murati 的崛起

本文深入探討了 OpenAI 首席技術官 Mira Murati 如何成為科技界最具影響力的創新者之一。

羅馬尼亞推出世界首位人工智能政府“顧問”

羅馬尼亞政府推出了“Ion”,這是一個基于人工智能 (AI) 的平臺,旨在記錄羅馬尼亞人的聲音和意見,并用它們來指導國家政策決策。

OpenAI 定價線程 (Twitter Thread)

昨天 ChatGPT API(又名“gpt-3.5-turbo”)價格下跌 90% 是 AI 的另一個前后時刻。

PromptCraft-Robotics(GitHub Repo)

PromptCrafts-Robotics 是一個社區,供人們測試和分享機器人領域 LLM 的有趣提示示例。

Nebullvm (GitHub Repo)

Nebullvm 是一個即插即用模塊生態系統,可優化您的人工智能系統的性能。

最后編輯于
?著作權歸作者所有,轉載或內容合作請聯系作者
平臺聲明:文章內容(如有圖片或視頻亦包括在內)由作者上傳并發布,文章內容僅代表作者本人觀點,簡書系信息發布平臺,僅提供信息存儲服務。

推薦閱讀更多精彩內容