頭條
斯坦福 HAI 發(fā)布 2024 年人工智能指數(shù)報(bào)告
https://hai.stanford.edu/research/ai-index-report
斯坦福以人為中心的人工智能研究所發(fā)布了第七份年度人工智能指數(shù)報(bào)告。 今年的報(bào)告涵蓋了多模式基礎(chǔ)模型的興起、對(duì)生成人工智能的重大現(xiàn)金投資、新的績(jī)效基準(zhǔn)、不斷變化的全球觀點(diǎn)以及新的主要法規(guī)。
蘋果的 iOS 18 AI 將在設(shè)備上保護(hù)隱私，而不是在服務(wù)器端
https://appleinsider.com/articles/24/04/15/apples-ios-18-ai-will-be-on-device-preserving-privacy-and-not-server-side
據(jù)傳，蘋果即將在 iOS 18 中推出的人工智能功能將重點(diǎn)關(guān)注隱私，最初的一組增強(qiáng)功能完全在設(shè)備上運(yùn)行，無(wú)需互聯(lián)網(wǎng)連接或基于云的處理，這要?dú)w功于該公司內(nèi)部已知的內(nèi)部大語(yǔ)言模型 作為“阿賈克斯”。
[谷歌的新技術(shù)為L(zhǎng)LM提供了無(wú)限的窗口長(zhǎng)度(https://venturebeat.com/ai/googles-new-technique-gives-llms-infinite-context/)
https://venturebeat.com/ai/googles-new-technique-gives-llms-infinite-context/
谷歌研究人員推出了無(wú)限注意力技術(shù)，該技術(shù)使LLM能夠處理無(wú)限長(zhǎng)度的文本，同時(shí)保持內(nèi)存和計(jì)算需求不變。
研究
壓縮線性地代表智力
https://arxiv.org/abs/2404.09937
大多數(shù)現(xiàn)代人工智能都是圍繞將訓(xùn)練數(shù)據(jù)集壓縮到模型中的想法構(gòu)建的。 壓縮越好，模型就越好。 本文嚴(yán)格證明了這種關(guān)系，并假設(shè)規(guī)模基準(zhǔn)分?jǐn)?shù)與模型壓縮小說(shuō)文本的能力密切相關(guān)。
Transformer中的反饋
https://arxiv.org/abs/2404.09173
TransformerFAM 提供了一種反饋機(jī)制，允許 Transformer 關(guān)注自己的潛在表示。 從理論上講，這可以將遞歸引入到模型中，以在上下文中處理極長(zhǎng)的輸入。
Megalodon 高效Transformer預(yù)訓(xùn)練
https://arxiv.org/abs/2404.08801
另一篇長(zhǎng)上下文論文——這一次是一種使用兩種新穎的權(quán)重更新方案的新架構(gòu)。 它在相同數(shù)量的訓(xùn)練令牌 2T 上優(yōu)于 Llama 2。 它還可以在推理時(shí)擴(kuò)展到無(wú)限的上下文長(zhǎng)度。
工程
人工智能系統(tǒng)可創(chuàng)建詳細(xì)的、引用的報(bào)告并進(jìn)行檢索 (GitHub Repo)
https://github.com/stanford-oval/storm
斯坦福大學(xué)發(fā)布了一個(gè)名為 Storm 的簡(jiǎn)潔研究系統(tǒng)，該系統(tǒng)使用檢索引導(dǎo)語(yǔ)言模型來(lái)創(chuàng)建特定主題的報(bào)告。
自動(dòng)駕駛的道路線分割
https://arxiv.org/abs/2404.07626v1
準(zhǔn)確分割道路線和標(biāo)記對(duì)于自動(dòng)駕駛至關(guān)重要，但由于車輛、陰影和眩光造成的遮擋而具有挑戰(zhàn)性。 單應(yīng)性引導(dǎo)融合 (HomoFusion) 模塊通過(guò)利用新穎的表面法線估計(jì)器和像素到像素的注意機(jī)制，使用視頻幀來(lái)識(shí)別和分類模糊的道路線。
增強(qiáng)的視覺(jué)語(yǔ)言模型 (GitHub Repo)
https://github.com/congvvc/lasagna
視覺(jué)語(yǔ)言模型 (vLLM) 常常難以處理每個(gè)圖像的多個(gè)查詢以及識(shí)別對(duì)象何時(shí)不存在。 本研究引入了一種新的查詢格式來(lái)解決這些問(wèn)題，并將語(yǔ)義分割納入訓(xùn)練過(guò)程。
雜七雜八
加速 AI：利用 Intel(R) Gaudi(R) 3 和 Ray 2.10
https://www.anyscale.com/blog/accelerating-ai-harnessing-intel-gaudi-3-with-ray-2-10
Anyscale 的 Ray 最新版本 Ray 2.10 增加了對(duì) Intel Gaudi 3 的支持。開發(fā)人員現(xiàn)在可以啟動(dòng)和管理自己的 Ray 集群，直接通過(guò) Ray Core API 在 Gaudi 隊(duì)列上配置 Ray Core 任務(wù)和 Actor，利用 Gaudi 上的 Ray Serve 通過(guò) Ray Serve API 獲得更高級(jí)別的體驗(yàn)，并配置 Intel Gaudi 加速器基礎(chǔ)設(shè)施以在 Ray Train 層使用。
Qwen Coder
https://qwenlm.github.io/blog/codeqwen1.5/
Code Qwen 1.5 是一組新的 7B 模型，在代碼相關(guān)數(shù)據(jù)的 3T 令牌上進(jìn)行訓(xùn)練。 它在 HumanEval 上表現(xiàn)良好，在 SWE-bench 上得分非零。 聊天變體特別顯示了長(zhǎng)達(dá) 64k 令牌的長(zhǎng)上下文檢索任務(wù)的前景。
1-bit Quantization
https://mobiusml.github.io/1bit_blog/
對(duì) Llama2-7B 等小型預(yù)訓(xùn)練模型進(jìn)行極端低位量化具有挑戰(zhàn)性，但僅微調(diào) 0.65% 的參數(shù)即可顯著提高性能。 新微調(diào)的 1 位模型優(yōu)于 2 位 Quip# 模型，而具有專門數(shù)據(jù)的 2 位模型可以超過(guò)全精度模型。 這項(xiàng)研究表明，適當(dāng)?shù)奈⒄{(diào)和量化可以在不影響模型質(zhì)量的情況下提高效率，從而可能將重點(diǎn)從訓(xùn)練較小的模型轉(zhuǎn)移到優(yōu)化較大的量化模型。
推出 ALOHA 釋放
https://twitter.com/tonyzzhao/status/1780263497584230432
Google DeepMind 的 ALOHA Unleashed 是一個(gè)利用低成本機(jī)器人和人工智能突破靈活性界限的程序。
創(chuàng)始人整合人工智能的四個(gè)步驟
https://foundationcapital.com/from-idea-to-integration-four-steps-for-founders-integrating-ai/
目前，制定將人工智能納入現(xiàn)有產(chǎn)品的計(jì)劃面臨著巨大的壓力。 這個(gè)簡(jiǎn)短的分步指南將幫助人們邁出第一步。
Limitless (Product)
https://www.limitless.ai/
個(gè)性化人工智能應(yīng)用程序和可穿戴設(shè)備由人們的所見所聞提供支持。
