| 場(chǎng)景分類（） | 關(guān)鍵問(wèn)題 | 解決方案 | 論文連接 | 洞察人 | |||||
|---|---|---|---|---|---|---|---|---|---|
| 該任務(wù)旨在根據(jù)自然語(yǔ)言要求生成整個(gè)代碼倉(cāng)庫(kù) | * 面臨的挑戰(zhàn):1. 自然語(yǔ)言描述和代碼倉(cāng)庫(kù)之間存在巨大差距。自然語(yǔ)言描述通常更長(zhǎng)更復(fù)雜,而代碼倉(cāng)庫(kù)需要結(jié)構(gòu)完整。1. 現(xiàn)有的代碼生成方法更擅長(zhǎng)生成簡(jiǎn)單的獨(dú)立代碼片段,難以生成具有良好結(jié)構(gòu)的整個(gè)代碼倉(cāng)庫(kù)。 | 根據(jù)上述內(nèi)容,CODES 框架的三個(gè)模塊實(shí)現(xiàn)如下:1. RepoSketcher 模塊：* 輸入為給定的自然語(yǔ)言需求文檔(如 README.md)* 輸出為代碼倉(cāng)庫(kù)的目錄結(jié)構(gòu)草圖，以樹(shù)狀形式表示各目錄和文件1. FileSketcher 模塊：* 輸入為前一步生成的代碼倉(cāng)庫(kù)目錄結(jié)構(gòu)草圖，以及原始需求文檔* 輸出為每個(gè)代碼文件的文件草圖，包括引用關(guān)系和函數(shù)定義，但函數(shù)體用占位語(yǔ)句代替1. SketchFiller 模塊：* 輸入包括前兩步生成的倉(cāng)庫(kù)草圖和文件草圖，以及相關(guān)依賴文件的草圖，當(dāng)前文件的草圖以及目標(biāo)函數(shù)簽名* 輸出為補(bǔ)充了函數(shù)體實(shí)現(xiàn)的完整代碼文件在實(shí)際實(shí)現(xiàn)中,作者提出了兩種方式:1. 提示工程(Prompt Engineering)：直接使用現(xiàn)有的代碼語(yǔ)言模型(如 CodeLlama、DeepSeekCoder 等)來(lái)?yè)?dān)當(dāng) CODES 三個(gè)模塊的角色。1. 監(jiān)督精調(diào)(Supervised Fine-tuning)：基于 100 個(gè)代碼倉(cāng)庫(kù)數(shù)據(jù)對(duì)基礎(chǔ)模型進(jìn)行針對(duì)性訓(xùn)練,提高其生成整個(gè)代碼倉(cāng)庫(kù)的能力。 | https://arxiv.org/pdf/2403.16443.pdf | 孫鶴 | |||||
| 代碼生成(函數(shù)) | 使用CoT生成的代碼，存在語(yǔ)法錯(cuò)誤等代碼執(zhí)行問(wèn)題，導(dǎo)致在HumanEval評(píng)測(cè)集上的通過(guò)率甚至低于Zero-Shot的結(jié)果。 | 將代碼生成(主要是函數(shù))流程，定義CodeCoT流水線，劃分為：1.CoT Prompt， 明確2.Test Cases Generation3.Code Generation4.Self-Examination 評(píng)測(cè)集依靠HumanEval、MBPP，prompt模型依賴chatGPT。代碼執(zhí)行依賴Python interpreter。 主要啟發(fā)是AI for Code 和AI for DT的結(jié)合。 | https://arxiv.org/pdf/2308.08784.pdf | 董劍 | |||||
| RAG(Embedding模型微調(diào)方法) | 1. 現(xiàn)有知識(shí)增強(qiáng)語(yǔ)言模型需要設(shè)計(jì)專門(mén)的檢索模塊,或者是回合性地結(jié)合外部知識(shí)庫(kù),無(wú)法很好支撐下游任務(wù)。2. 單獨(dú)微調(diào)語(yǔ)言模型與Embedding模型,各自學(xué)習(xí)的知識(shí)無(wú)法很好地整合應(yīng)用到任務(wù)中。 | 第一輪調(diào)優(yōu)將RAG檢索出的top k語(yǔ)料放到指令模板中，進(jìn)行微調(diào)，使得大語(yǔ)言模型能更好地利用相關(guān)背景知識(shí)進(jìn)行預(yù)測(cè)；第二輪調(diào)優(yōu)，使用LLM為檢索器微調(diào)提供監(jiān)督，可以幫助盡可能召回對(duì)LM推斷最有幫助的文檔。 主要觀點(diǎn)：檢索器微調(diào)屬于端到端的微調(diào)，與大模型能力綁定，容易導(dǎo)致數(shù)據(jù)不準(zhǔn)確 | https://arxiv.org/abs/2310.01352 | 李超 | |||||
| RAG(迭代式檢索) | 1.現(xiàn)有知識(shí)增強(qiáng)模型直接將檢索結(jié)果輸入模型,難以保證知識(shí)質(zhì)量和效果融合。2.檢索質(zhì)量受限,難以捕捉復(fù)雜查詢信息。 | 通過(guò)迭代檢索和生成協(xié)同作用來(lái)提高檢索增強(qiáng)大型語(yǔ)言模型的性能。這種方法避免了中斷生成過(guò)程，而是迭代地結(jié)合檢索和生成，利用前一輪完整的生成結(jié)果來(lái)檢索更多信息，從而提高性能并減少開(kāi)銷(xiāo) 主要啟發(fā)：如果用戶覺(jué)得生成效果不好，鼓勵(lì)用戶多次嘗試，用上一次生成的較好的部分代碼，檢索新的相似代碼，從而提升效果 | https://arxiv.org/abs/2207.05987 | 李超 | |||||
| RAG(text to code) | 現(xiàn)有的代碼生成模型都是基于現(xiàn)有代碼庫(kù)訓(xùn)練的,無(wú)法涵蓋不斷更新增加的新函數(shù)或庫(kù)。而開(kāi)發(fā)者在實(shí)際工作中,面對(duì)未知功能時(shí)通過(guò)查詢文檔資料來(lái)了解。 | 基本假設(shè)是，對(duì)于大多數(shù)庫(kù)和編程語(yǔ)言來(lái)說(shuō)，代碼文檔是最詳盡切最簡(jiǎn)潔的資源，并且文檔允許有效地推廣到看不見(jiàn)的庫(kù)和函數(shù)；每個(gè)文檔是描述庫(kù)或函數(shù)的；文檔簡(jiǎn)化了 NL 意圖和代碼之間的映射，因?yàn)槲臋n同時(shí)包含 NL 描述和函數(shù)簽名。檢索方法包含以下兩部分：1. 基于用戶的輸入檢索相關(guān)文檔資源,如代碼注釋和文檔說(shuō)明。1. 在生成代碼的同時(shí),利用檢索出的文檔作為參考知識(shí)。模型學(xué)習(xí)從中提取函數(shù)簽名、參數(shù)等細(xì)節(jié),輔助生成完整而正確的代碼。主要啟發(fā)：在text to code場(chǎng)景下，可以借鑒該論文構(gòu)造語(yǔ)料集，直接通過(guò)自然語(yǔ)言搜索可能使用的API | https://arxiv.org/abs/2207.05987 | 李超 | |||||
| LLM-based Agents（require to code） | 現(xiàn)有基于LLM的多智能體系統(tǒng)大多采用自然語(yǔ)言對(duì)話的方式進(jìn)行協(xié)作,容易產(chǎn)生信息丟失和失真，在處理復(fù)雜任務(wù)時(shí),容易出現(xiàn)邏輯矛盾和誤差積累,影響最終解決方案的質(zhì)量。 | MetaGPT通過(guò)引入軟件開(kāi)發(fā)中的標(biāo)準(zhǔn)工作流程（SOP）將復(fù)雜任務(wù)分解成需求分析、系統(tǒng)設(shè)計(jì)、編碼、測(cè)試等有序的子任務(wù),將Agents角色專業(yè)化,定義了產(chǎn)品經(jīng)理、架構(gòu)師、項(xiàng)目經(jīng)理、工程師、測(cè)試工程師等不同角色,各角色按照既定流程協(xié)作完成。并且增加了結(jié)構(gòu)化通信，Agents之間共享結(jié)構(gòu)化的中間輸出,如需求文檔、設(shè)計(jì)文件等,提高溝通效率。1.主要啟發(fā)：引入SOP標(biāo)準(zhǔn)工作流程進(jìn)框架 | https://arxiv.org/pdf/2308.00352.pdf | 孟小威 | |||||
| Code to Code | 現(xiàn)有的代碼生成工具無(wú)法充分利用代碼倉(cāng)庫(kù)中的信息 | * * 局部知識(shí)檢索:* 從當(dāng)前代碼文件中檢索局部信息,如函數(shù)簽名、變量等。* 全局知識(shí)檢索:* 從函數(shù)知識(shí)庫(kù)中檢索與當(dāng)前任務(wù)相關(guān)的全局函數(shù)信息。* 第三方庫(kù)知識(shí)檢索:1. 從第三方庫(kù)知識(shí)庫(kù)中檢索當(dāng)前任務(wù)可能用到的第三方庫(kù)信息。將上述三類知識(shí)(局部、全局、第三方庫(kù))融合成一個(gè)綜合的提示語(yǔ)(prompt),輸入到基礎(chǔ)語(yǔ)言模型進(jìn)行代碼生成。這樣可以使語(yǔ)言模型生成的代碼能夠更好地融入到當(dāng)前代碼倉(cāng)庫(kù)的環(huán)境中,減少邏輯錯(cuò)誤、重復(fù)代碼和兼容性問(wèn)題。 | https://arxiv.org/abs/2306.03091 | 孫鶴 | |||||
| LLM-based Agents（代碼生成性能提升） | 當(dāng)前大模型在復(fù)雜任務(wù)處理上嚴(yán)重依賴于人類的引導(dǎo)和輸入，非常耗時(shí)且具有挑戰(zhàn)性，性能不佳 | 提出了一種名為"角色扮演"的新型合作代理框架，框架設(shè)計(jì)一個(gè)任務(wù)指定agent、一個(gè)AI助手agent和一個(gè)AI用戶agent，通過(guò)讓AI助手和AI用戶相互提示和交互,實(shí)現(xiàn)了代理的自主協(xié)作完成任務(wù)。使用角色扮演來(lái)生成對(duì)話數(shù)據(jù),利用這些數(shù)據(jù)集,語(yǔ)言模型訓(xùn)練能力的顯著提升。主要啟發(fā)：通過(guò)對(duì)多智能進(jìn)行角色賦予引導(dǎo)agent自主完成任務(wù)，提高模型性能，減少對(duì)人類輸入的依賴。 | https://arxiv.org/pdf/2303.17760.pdf | 孟小威 | |||||
| 多模態(tài)任務(wù)解決 | 大語(yǔ)言模型(LLM)局限于文本輸入輸出,無(wú)法處理視覺(jué)、語(yǔ)音等復(fù)雜信息，無(wú)法自主規(guī)劃和協(xié)調(diào)多個(gè)子任務(wù)來(lái)完成復(fù)雜任務(wù) | 使用 LLM 作為控制器,負(fù)責(zé)任務(wù)規(guī)劃、模型選擇和結(jié)果整合，通過(guò)語(yǔ)言描述連接 LLM 和專業(yè)模型(如 Hugging Face 平臺(tái)上的模型),實(shí)現(xiàn) LLM 與專業(yè)模型的協(xié)同，解決語(yǔ)言、視覺(jué)、語(yǔ)音等多領(lǐng)域跨模態(tài)的復(fù)雜任務(wù)。主要啟發(fā)：通過(guò)LLM與專業(yè)模型的協(xié)同來(lái)處理復(fù)雜任務(wù) | https://arxiv.org/pdf/2303.17580.pdf | 孟小威 | |||||
| 模型推理 | 大模型在通用任務(wù)上的零樣本推理能力還不夠強(qiáng)，即便零樣本鏈?zhǔn)剿季S(CoT),取得了一定進(jìn)展,但仍有局限性 | 提出了一種名為"零樣本Agent指導(dǎo)推理"(zero-shot AgentInstruct)的方法,構(gòu)建一個(gè)自主agent來(lái)指導(dǎo)大型語(yǔ)言模型的推理過(guò)程。agent利用從網(wǎng)上獲取的任務(wù)相關(guān)知識(shí)生成針對(duì)特定任務(wù)的指引說(shuō)明。將這些任務(wù)特定的指引說(shuō)明附加到輸入中,引導(dǎo)語(yǔ)言模型按照指引進(jìn)行分步推理,從而解決任務(wù)。與標(biāo)準(zhǔn)零樣本和零樣本鏈?zhǔn)剿季S(CoT)相比,零樣本AgentInstruct在20個(gè)數(shù)據(jù)集上達(dá)到最先進(jìn)的性能。主要啟發(fā)：引入agent來(lái)進(jìn)行任務(wù)指引，優(yōu)化模型的推理能力 | https://arxiv.org/pdf/2310.03710.pdf | 孟小威 | |||||
| 指令微調(diào) | 1.要讓模型能處理多種代碼相關(guān)任務(wù)(解釋、生成、重構(gòu))，指令微調(diào)是重要的一環(huán)2.指令微調(diào)對(duì)數(shù)據(jù)集的質(zhì)量和多樣性要求高，現(xiàn)有數(shù)據(jù)集難以滿足 | 1.通過(guò)Generator(GPT4)基于原有代碼生成指令微調(diào)語(yǔ)料，并使用Discriminator(GPT4)采用CoT的方式對(duì)生成結(jié)果逐步分析Generator對(duì)代碼生成采用Zero-Shot，其他任務(wù)采用Few-Shot，代碼生成容易模仿導(dǎo)致多樣性變差Discriminator鑒別的好/壞結(jié)果均可作為Few-Shot的例子存在2.實(shí)驗(yàn)結(jié)果來(lái)看，相同數(shù)據(jù)量情況下，通過(guò)上述方式的高質(zhì)量數(shù)據(jù)集微調(diào)得出的模型效果更好可能問(wèn)題：1. Generator基于的代碼是否需要大量注釋 2. GPT4使用的安全性問(wèn)題 3. 基于領(lǐng)域代碼的語(yǔ)料生成效果待檢驗(yàn) | https://arxiv.org/pdf/2312.14187.pdf | 湯逸凡 | |||||
| 模型訓(xùn)練 | 此文的Domain-Specific是指面向AI的編程任務(wù)(模型的訓(xùn)練使用等) | 1.構(gòu)筑了微調(diào)所需的數(shù)據(jù)集AICoderEval，均由GPT4生成(基于開(kāi)源網(wǎng)站的模型描述、使用示例等，結(jié)合適合的Prompt)，包含函數(shù)定義、注釋、實(shí)現(xiàn)、測(cè)試用例等，并提供實(shí)際可運(yùn)行環(huán)境保證數(shù)據(jù)集可運(yùn)行、可通過(guò)測(cè)試2.整體過(guò)程通過(guò)Agent框架，核心是提供可執(zhí)行的環(huán)境，訓(xùn)練/推理階段都將執(zhí)行報(bào)錯(cuò)給到糾錯(cuò)模型(專門(mén)微調(diào)的另一個(gè)模型)提供修復(fù)建議，加入prompt并循環(huán)執(zhí)行(CoT Fine-Tuning?)3.實(shí)驗(yàn)結(jié)果來(lái)看，使用AICoderEval數(shù)據(jù)集對(duì)模型效果有提升，修復(fù)建議(CoT?)對(duì)生成效果有提升結(jié)論：跟我們方向上不太一致，且注釋/測(cè)試用例/執(zhí)行環(huán)境的生成都有比較高的難度。糾錯(cuò)模型加入prompt循環(huán)生成可參考 | https://openreview.net/pdf/cb12ac603a0547430a795f0e75ea03ed0e393dab.pdf | 湯逸凡 | |||||
| 模型訓(xùn)練 | 對(duì)于主流大模型，測(cè)試下來(lái)在特定領(lǐng)域代碼生成(主要是web開(kāi)發(fā)-Go/游戲開(kāi)發(fā)-C++)能力比通用代碼生成下降嚴(yán)重，如ChatGPT在CodeBLEU上下降51.48%，其中主要問(wèn)題是使用的API錯(cuò)誤或漏使用某些API。 | 文章提出了三種提升特定領(lǐng)域代碼生成能力的方案：1.通過(guò)外部知識(shí)庫(kù)檢索可能使用的API并加入Prompt (類RAG?) —— CodeBLEU提升9.82%2.通過(guò)CoT，根據(jù)歷史調(diào)用順序預(yù)測(cè)可能的API并加入Prompt —— 效果一般3.通過(guò)CoT，將歷史調(diào)用順序形成語(yǔ)料進(jìn)行微調(diào) —— CodeBLEU提升4.20%結(jié)論：它這里關(guān)注的領(lǐng)域信息主要是API調(diào)用，方向上跟我們的思路也基本一致，沒(méi)看到有什么亮點(diǎn)值得借鑒 | https://arxiv.org/pdf/2312.01639.pdf | 湯逸凡 | |||||
| 模型訓(xùn)練 | 論文主要就想體現(xiàn)一點(diǎn)，代碼語(yǔ)料的質(zhì)量非常重要 | 1.從the stack中抽樣100k數(shù)據(jù)使用GPT-4進(jìn)行標(biāo)注，質(zhì)量好壞，這里使用可以學(xué)習(xí)的程度進(jìn)行標(biāo)注2.使用抽樣數(shù)據(jù)訓(xùn)練隨機(jī)森林進(jìn)行二分類，用訓(xùn)練模型對(duì)數(shù)據(jù)進(jìn)行過(guò)濾得到6b token數(shù)據(jù)3.使用GPT3.5生成代碼的解釋說(shuō)明之前過(guò)濾的數(shù)據(jù)形成code textbook，以此為基礎(chǔ)訓(xùn)練，并完成部分指令微調(diào)4.實(shí)驗(yàn)結(jié)果表明用高質(zhì)量數(shù)據(jù)集的模型訓(xùn)練效果等同于一般訓(xùn)練集下10倍參數(shù)的模型訓(xùn)練效果結(jié)論：主要數(shù)據(jù)要有注釋，有質(zhì)檢，且基本靠GPT完成。思路上跟我們一致，但問(wèn)題是GPT/Pangu模型是否可以用于大批量的標(biāo)注。 | https://arxiv.org/pdf/2306.11644.pdf | 湯逸凡 | |||||
| 數(shù)據(jù)污染問(wèn)題 | 1.由于越來(lái)越多的訓(xùn)練數(shù)據(jù)來(lái)源和合成數(shù)據(jù)的引入，當(dāng)前許多模型(如ChatGPT)在一些公開(kāi)測(cè)試集上存在透題的現(xiàn)象2.論文提出由于大模型的詞表巨大，其中包含了大量具有類似語(yǔ)義的標(biāo)記，所以對(duì)大模型采樣的輸出分布不應(yīng)該顯示尖峰 | 1.給出檢測(cè)是否存在透題現(xiàn)象的方法CDD，核心思想是采樣多次，看編輯距離分布是否存在尖峰2.給出削減透題對(duì)模型能力評(píng)估影響的方法TED，核心思想是采樣多次，去掉重復(fù)結(jié)果/尖峰結(jié)果，用剩下采樣結(jié)果評(píng)估模型結(jié)論：有借鑒意義，在確定性參數(shù)(消除隨機(jī)性)沒(méi)開(kāi)的前提下，可以通過(guò)這個(gè)方式去檢測(cè)模型對(duì)于評(píng)測(cè)集是否有透題現(xiàn)象 | https://arxiv.org/pdf/2402.15938.pdf | 湯逸凡 | |||||
| prompt (倉(cāng)庫(kù)級(jí) prompt應(yīng)用于單行代碼生成場(chǎng)景) | 在無(wú)法訪問(wèn)大模型權(quán)重的情況下，如何融入代碼倉(cāng)庫(kù)級(jí)的上下文信息, 并在一組 prompts 中選擇最優(yōu) prompt | 1. 提出了RLPG框架：通過(guò)整合代碼倉(cāng)的結(jié)構(gòu)和相關(guān)文件的上下文信息，引入一組 "prompt proposal " , 并通過(guò)一個(gè)Prompt Proposal Classifier （PPC）神經(jīng)網(wǎng)絡(luò)模型預(yù)測(cè)最佳的 prompt proposal，用來(lái)決定哪些Prompt Proposal對(duì)最終成功填出target hole有幫助2. 如何獲取prompt proposal：的主要來(lái)源有64類（where 9類、what 7類） 結(jié)論：這篇文章提出的框架適用于無(wú)法訪問(wèn)權(quán)重的模型 （CodeX），無(wú)法通過(guò)訓(xùn)練引入領(lǐng)域知識(shí)的模型應(yīng)用場(chǎng)景；與我們的領(lǐng)域知識(shí)引入方法有所區(qū)別；但其中基于多標(biāo)簽分類器的proposal 預(yù)測(cè)，可能對(duì)于代碼補(bǔ)全（函數(shù)/多行/單行）不同應(yīng)用場(chǎng)景的預(yù)測(cè)有一定借鑒意義 | epository-Level Prompt Generation for Large Language Models of Code (arxiv.org) | 胡鑫鈺 | |||||
| prompt(倉(cāng)庫(kù)級(jí)prompt應(yīng)用于代碼生成場(chǎng)景) | 在有限上下文長(zhǎng)度的情況下如何選擇最有效的上下文信息（prompt壓縮），保證代碼補(bǔ)全的高準(zhǔn)確性和高效率 | 本文對(duì)于倉(cāng)庫(kù)級(jí)的 prompt 提出了兩種技術(shù)：1. 提出將兩種不同類型的上下文融合方法, 即類比上下文(analogy context)和推理上下文(rationale context)融合。類比上下文來(lái)自于與當(dāng)前代碼片段類似的代碼片段，而推理上下文提供了整個(gè)代碼庫(kù)中可用程序構(gòu)造(如類、方法等)的語(yǔ)義信息。2. 提出一種新的排序截?cái)嗌?rank truncated generation, RTG)技術(shù),用于有效地將兩種上下文融合并縮減為可控大小的提示,以在保證準(zhǔn)確性的同時(shí)提高推理效率。 結(jié)論：對(duì)于 prompt 發(fā)送給模型前的處理與我們的思路一致：在 token 數(shù)有限的情況下，需要對(duì) prompt 采用壓縮技術(shù)，保證 prompt 的質(zhì)量；但本問(wèn)題提及的方法對(duì)我們來(lái)說(shuō)并不適用，原因在于prompt 關(guān)鍵字段不一致，非按照chunk進(jìn)行上下文拆分、無(wú)法應(yīng)用相似性進(jìn)行rank排序； 其他啟發(fā)：我們當(dāng)前采用的 prompt 壓縮策略，采用對(duì)prompt中已有模板的內(nèi)容逐項(xiàng)驗(yàn)證（即驗(yàn)證當(dāng)前這段對(duì)生成結(jié)果的有效性），暫時(shí)沒(méi)有數(shù)據(jù)性的指標(biāo)說(shuō)明壓縮策略的有效性 | 2305.17812.pdf (arxiv.org) | 胡鑫鈺 | |||||
| CoT | 傳統(tǒng)CoT提示方式的局限性：推理呈現(xiàn)為自然語(yǔ)言的序列形式，缺乏清晰的結(jié)構(gòu)性； | 主要技術(shù)：將自然語(yǔ)言prompt 替換為表格形式的prompt , 表頭信息為“ | step | subquestion | process | result | ", 通過(guò)表頭信息規(guī)定了問(wèn)題解決過(guò)程的結(jié)構(gòu)，表格的每一行視為思維連的一個(gè)步驟，表格按照行生成的過(guò)程 視為通過(guò)思維連逐步推理的過(guò)程；每一行(步)包含多個(gè)列，每一列視為當(dāng)前步驟的推理細(xì)節(jié) 實(shí)驗(yàn)結(jié)論：比較了standard-prompt (一次prompt)、zero-shot-CoT(后文簡(jiǎn)化為CoT)、 zero-shot-tab-CoT(Tab-CoT) 在文本LLM 和 代碼LLM上的效果， CoT 偏向于 文本LLM， 而Tab-CoT 在code上具有更好的效果（猜想：表格生成類似于代碼生成過(guò)程（都涉及結(jié)構(gòu)化的過(guò)程） 結(jié)論/啟發(fā)：Tab-CoT更能較好的解鎖代碼大模型的推理能力，但本文在Tab-CoT 的驗(yàn)證能力主要基于數(shù)學(xué)計(jì)算的驗(yàn)證，而非問(wèn)題的驗(yàn)證，該CoT形式是否能夠應(yīng)用于代碼場(chǎng)景有待進(jìn)一步驗(yàn)證 | 2305.17812.pdf (arxiv.org) | 胡鑫鈺 |
| CoT | llm能否在沒(méi)有prompt的情況下具備思維鏈推理 | 主要內(nèi)容：1. 傳統(tǒng)在模型推理階段主要通過(guò)貪婪解碼，每次選擇當(dāng)前最有可能的輸出((概率值：top-1)作為 token, 直到生成完整的輸出序列，優(yōu)點(diǎn)是速度快、缺點(diǎn)，是當(dāng)前最可能的輸出而非全局最優(yōu)解，結(jié)果偏向于直接回答問(wèn)題；2. CoT-decoding 在模型解碼推理階段 對(duì) token top-K采樣，可能會(huì)在某些 step 開(kāi)始出現(xiàn)CoT鏈?zhǔn)剿季S路徑，從而在得到有CoT路徑的回答 結(jié)論/啟發(fā)：暫無(wú)借鑒意義。這篇文章通過(guò)改變模型輸出的解碼策略激發(fā)LLM 的推理能力，這種方式只能應(yīng)對(duì)預(yù)訓(xùn)練任務(wù)中頻繁出現(xiàn)的任務(wù)，對(duì)于復(fù)雜的任務(wù)還是需要設(shè)計(jì)prompt觸發(fā)合理的推理過(guò)程。另外該方法的本質(zhì)是基于概率原理提升模型推理效果、而非模型自身能力的提升， 且側(cè)重點(diǎn)在模型推理側(cè)（修改模型側(cè)的推理腳本），非模型應(yīng)用側(cè)（prompt 發(fā)力） | 2402.10200v1.pdf (arxiv.org) | 胡鑫鈺 | |||||
| CoT | 針對(duì)CoT 在語(yǔ)義推理任務(wù)上表現(xiàn)出色、在涉及數(shù)字或符號(hào)推理的問(wèn)題上表現(xiàn)不佳；提出了Chain of Code | 主要技術(shù)：CoC分為兩個(gè)步驟進(jìn)行生成和執(zhí)行（1） 生成：給定一個(gè)要解決的問(wèn)題、CoC 生成代碼結(jié)構(gòu)中的推理子步驟。代碼提供了通過(guò)問(wèn)題進(jìn)行推理的框架（顯式代碼、偽代碼/自然語(yǔ)言形式）（2）執(zhí)行：將(1)中的代碼解釋器逐步運(yùn)行該代碼，如果執(zhí)行成功，程序狀態(tài)更新并繼續(xù)執(zhí)行；若執(zhí)行異常，會(huì)由LM模擬執(zhí)行(LMulator、類似于打樁技術(shù))直至程序狀態(tài)執(zhí)行完畢 結(jié)論：CoC主要對(duì)解釋性語(yǔ)言 python 進(jìn)行驗(yàn)證，并不適用與編譯性語(yǔ)言例如Go, C++/C，無(wú)法通過(guò)解釋器/LM仿真器逐步驗(yàn)證 | 2312.04474.pdf (arxiv.org) | 胡鑫鈺 |
2024-04-23
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
平臺(tái)聲明：文章內(nèi)容（如有圖片或視頻亦包括在內(nèi)）由作者上傳并發(fā)布，文章內(nèi)容僅代表作者本人觀點(diǎn)，簡(jiǎn)書(shū)系信息發(fā)布平臺(tái)，僅提供信息存儲(chǔ)服務(wù)。
平臺(tái)聲明：文章內(nèi)容（如有圖片或視頻亦包括在內(nèi)）由作者上傳并發(fā)布，文章內(nèi)容僅代表作者本人觀點(diǎn)，簡(jiǎn)書(shū)系信息發(fā)布平臺(tái)，僅提供信息存儲(chǔ)服務(wù)。
- 文/潘曉璐 我一進(jìn)店門(mén)，熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái)，“玉大人，你說(shuō)我怎么就攤上這事。” “怎么了？”我有些...
- 文/不壞的土叔 我叫張陵，是天一觀的道長(zhǎng)。 經(jīng)常有香客問(wèn)我，道長(zhǎng)，這世上最難降的妖魔是什么？ 我笑而不...
- 正文 為了忘掉前任，我火速辦了婚禮，結(jié)果婚禮上，老公的妹妹穿的比我還像新娘。我一直安慰自己，他們只是感情好，可當(dāng)我...
- 文/花漫 我一把揭開(kāi)白布。 她就那樣靜靜地躺著，像睡著了一般。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上，一...
- 那天，我揣著相機(jī)與錄音，去河邊找鬼。 笑死，一個(gè)胖子當(dāng)著我的面吹牛，可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播，決...
- 文/蒼蘭香墨 我猛地睜開(kāi)眼，長(zhǎng)吁一口氣：“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼！你這毒婦竟也來(lái)了？” 一聲冷哼從身側(cè)響起，我...
- 序言：老撾萬(wàn)榮一對(duì)情侶失蹤，失蹤者是張志新（化名）和其女友劉穎，沒(méi)想到半個(gè)月后，有當(dāng)?shù)厝嗽跇?shù)林里發(fā)現(xiàn)了一具尸體，經(jīng)...
- 正文 獨(dú)居荒郊野嶺守林人離奇死亡，尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
- 正文 我和宋清朗相戀三年，在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
- 正文 年R本政府宣布，位于F島的核電站，受9級(jí)特大地震影響，放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜，卻給世界環(huán)境...
- 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧，春花似錦、人聲如沸。這莊子的主人今日做“春日...
- 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)。三九已至，卻和暖如春，著一層夾襖步出監(jiān)牢的瞬間，已是汗流浹背。 一陣腳步聲響...
- 正文 我出身青樓，卻偏偏與公主長(zhǎng)得像，于是被迫代替她去往敵國(guó)和親。 傳聞我的和親對(duì)象是個(gè)殘疾皇子，可洞房花燭夜當(dāng)晚...
推薦閱讀更多精彩內(nèi)容
- 頭條 Llama 3[https://ai.meta.com/blog/meta-llama-3] Meta 發(fā)布...
- 1 簡(jiǎn)介 最近一直被大語(yǔ)言模型刷屏。本文是周末技術(shù)分享會(huì)的提綱，總結(jié)了一些自然語(yǔ)言模型相關(guān)的重要技術(shù)，以及各個(gè)主流...
- 前言 繼續(xù)上一篇提示工程(Prompt Engineering)-基礎(chǔ)提示[https://minorstone....
