頭條

Copilot Githut 升級(jí)

GitHub Copilot gets an upgrade
GitHub Copilot 獲得升級(jí)。憑借更強(qiáng)大的基礎(chǔ)模型、新的輕量級(jí)客戶端模型和中間填充 (FIM) 功能，Copilot 自推出以來不斷改進(jìn)。合成代碼的接受率從 27% 上升到 35%！

Coda AI (產(chǎn)品)

如果您是 Coda 高級(jí)用戶，您會(huì)愛上 Coda AI。將 Coda 構(gòu)建塊的強(qiáng)大功能與 OpenAI 的 GPT 相結(jié)合，以加速您的文檔創(chuàng)建。 Coda AI 還與 600 多個(gè)其他應(yīng)用程序集成，以改進(jìn)您的工作流程。

研究

10億參數(shù)的多模態(tài)模型優(yōu)于 1750億參數(shù)的 GTP3

小的模型仍然可以擊敗更大的通用模型。這篇論文是另一個(gè)例子，作者使用小型多模態(tài)模型在視覺/文本基準(zhǔn) ScienceQA 上擊敗 GPT3 16%。這只是一個(gè)基準(zhǔn)測(cè)試，但很高興看到尺寸更合理的模型有所改進(jìn)。

穩(wěn)定熵假說

本文提出了一個(gè)假設(shè)，即“類人”文本生成位于一個(gè)狹窄的低熵區(qū)域。具有重復(fù)單詞、不連貫句子和語法錯(cuò)誤的退化文本遠(yuǎn)離該區(qū)域。他們提供了支持證據(jù)并提出了熵感知解碼方案。

工程

在穩(wěn)定擴(kuò)散中導(dǎo)航潛在的流形

這篇博文提供了一個(gè)簡(jiǎn)單、直觀的比喻來理解穩(wěn)定擴(kuò)散和基于擴(kuò)散的生成模型中潛在的多樣性。作者分享了他們探索潛在空間的旅程以及導(dǎo)航它的各種技術(shù)，提供了對(duì)穩(wěn)定擴(kuò)散的主要組成部分的見解。對(duì)于那些對(duì)控制圖像生成和它們之間的插值感興趣的人來說，這篇文章是一個(gè)很好的資源。

用于網(wǎng)絡(luò)的 Langchain (GitHub repo)

與其他最近發(fā)布的庫類似，Langchain 現(xiàn)在有一個(gè) JavaScript 庫。使用它來構(gòu)建 LM 支持的網(wǎng)絡(luò)應(yīng)用程序。重要的是，與 python 版本的接口是一個(gè)巨大的焦點(diǎn)，特別是圍繞對(duì)象的序列化。

Talk-To-ChatGPT (GitHub Repo)

Talk-To-ChatGPT 是一個(gè)谷歌 Chrome 擴(kuò)展程序，它允許用戶使用他們的聲音與 ChatGPT 交談，并用聲音收聽 AI 的回答。

雜七雜八

Netflix 擴(kuò)展媒體機(jī)器學(xué)習(xí)

在此博客中，Netflix 概述了他們的媒體和藝術(shù)作品 ML 管道的工作和擴(kuò)展方式。他們討論預(yù)處理、培訓(xùn)、生產(chǎn)和存儲(chǔ)。本文提供了一個(gè)案例研究，展示了這些組件如何改進(jìn)現(xiàn)有管道的可擴(kuò)展性、優(yōu)化和可靠性。這里有一些有趣的花絮，特別是他們使用 Ray 為他們的 GPU 集群提供動(dòng)力。