LLM(大模型)應用開發利器之LangChain,帶你走進AI世界

LangChain組件圖

LangChain?是什么

首先?LangChain?是一個框架,這個框架是用來讓開發者進行?LLMs?(大語言模型)應用開發的。

可以理解是為各種?LLM?開發的腳手架,將?LLM?的各個組件進行封裝和鏈接。把?LLMs?相關的組件“鏈接”在一起,簡化?LLMs?應用的開發難度,方便開發者快速地開發復雜的?LLMs?應用。

舉一個不是很恰當的栗子,從?Java?工程師的角度來看?LangChain?更像是?Spring?或者?SpringBoot?這種框架,幫助開發人員更快的進行應用開發。

LangChain?框架組件

Models(I/O):各種類型的模型集成。

Outline概要

? ? · Prompts:模板化、動態選擇和管理模型輸入

? ? · Language models:通過通用接口調用語言模型

? ? · Output parsers:從模型輸出中提取信息

Models(I/O)

Prompts組件:包含Prompt templates和Example selectors。

Prompts

Prompt templates:

? ·? ?對語言模型的指令

? ·? ?一組幾個鏡頭示例來幫助語言模型生成更好的響應

? ·? ?對語言模型的一個問題

分別舉例:TemplateFormat、MessageTemplate、FewShotPromptTemplate、Example selectors

TemplateFormat:

TemplateFormat

MessageTemplate:

MessageTemplate

FewShotPromptTemplate:

FewShotPromptTemplate

Example selectors:

Example selectors

Language models:

? ·? ?LLMs

? ·? ?Chat models

LLMs:采用文本字符串作為輸入并返回文本字符串的模型。

gpt-3.5-turbo:

gpt-3.5-turbo

Streaming:

Streaming

Chat models:聊天模型是語言模型的變體。

Caching:

Caching

outputparser

? ·? ?獲取格式指令

? ·? ?解析

? ·? ?帶有提示的解析

分別舉例:DateTimeParser、EnumParser、ListParser、OutputParser

DateTimeParser:

DateTimeParser

EnumParser:

EnumParser

ListParser:

ListParser

OutputParser:

OutputParser

Memory:記憶涉及在用戶與語言模型的交互過程中保留狀態概念。用戶與語言模型的交互是在 ChatMessages 的概念中捕獲的,因此這可以歸結為從一系列聊天消息中攝取、捕獲、轉換和提取知識。一般來說,對于每種類型的記憶,都有兩種理解使用記憶的方法。這些是從一系列消息中提取信息的獨立函數,然后您可以通過一種方式在鏈中使用這種類型的內存。內存可以返回多條信息(例如,最近的 N 條消息和所有先前消息的摘要)。

Memory

Outline概要

? ? · ConversationBufferMemory

? ? · ConversationBufferWindowMemory

? ? · ConversationTokenBufferMemory

? ? ·?ConversationSummaryMemory

ConversationBufferMemory:

ConversationBufferMemory

ConversationBufferWindowMemory:

ConversationBufferWindowMemory

ConversationTokenBufferMemory:

ConversationTokenBufferMemory

ConversationSummaryMemory:

ConversationSummaryMemory

Chains:

Chains

Outline概要

? ? · LLMChain

? ? · SequentialChain

? ? ? ? ? ? ? ?· SimpleSequentialChain

? ? ? ? ? ? ? ?· SequentialChain

? ? · RouterChain

LLMChain:

LLMChain

SimpleSequentialChain:一般序列鏈可以將前一個鏈的輸出結果,作為后一個鏈的輸入。一般序列鏈有唯一輸入和輸出變量。

SimpleSequentialChain

SequentialChain:序列鏈中包含多個鏈,其中一些鏈的結果可以作為另一個鏈的輸入。序列鏈可以支持多個輸入和輸出變量。

SequentialChain流程圖
SequentialChain

RouterChain:路由鏈類似一個while else的函數,根據輸入值,選擇對應的路由(路徑)進行后續的鏈路。整個路由鏈一般一個輸入,一個輸出。

RouterChain流程圖
RouterChain(1)
RouterChain(2)

Agents:某些應用程序需要根據用戶輸入對 LLM 和其他工具進行靈活的調用鏈。代理接口為此類應用程序提供了靈活性。代理可以訪問一套工具,并根據用戶輸入確定使用哪些工具。代理可以使用多種工具,并使用一個工具的輸出作為下一個工具的輸入。

Agents

Outline概要

? ? ·?動作代理:在每個時間步,使用所有先前動作的輸出來決定下一個動作

? ? ·?計劃并執行代理:預先決定完整的操作順序,然后執行所有操作而不更新計劃

分別舉例:MathAndWikiAgent、PythonREPLAgent、MultiFunctionsAgent

MathAndWikiAgent:

MathAndWikiAgent

PythonREPLAgent:

PythonREPLAgent

MultiFunctionsAgent:

MultiFunctionsAgent

索引(index):索引是指以最佳方式對文檔進行結構化,以便語言模型(LLMs)能夠與其進行最佳交互。這個模塊包含了處

理文檔的實用函數。

索引(index)

Outline概要

? ? ·?嵌入(Embeddings):嵌入是對信息(例如文本、文檔、圖像、音頻等)的數值表示。通過嵌入,可以將信息轉換為向量形式,以便計算機能夠更好地理解和處理。

? ? ·?文本拆分器(Text Splitters):當需要處理較長的文本時,有必要將文本分割成多個塊。文本拆分器是用于將長文本分割成更小片段的工具。

? ? ·?向量數據庫(Vectorstores):向量數據庫存儲和索引來自自然語言處理模型的向量嵌入,用于理解文本字符串、句子和整個文檔的含義和上下文,從而獲得更準確和相關的搜索結果。請參閱可用的向量數據庫。

代碼示例如下:

index

應用實例langchain-chatglm-6B流程圖如下:

langchain-chatglm-6B(1)
langchain-chatglm-6B(2)

evaluation:

Outline概要

? ? ·?示例生成:Example generation

? ? ·?手動評估(和調試):Manual evaluation (and debugging)

? ? ·?LLM輔助評估:LLM-assisted evaluation

Example generation:

Example generation(1)
Example generation(2)

Manual evaluation (and debugging):

Manual evaluation (and debugging)

LLM-assisted evaluation:

LLM-assisted evaluation

開源項目:

最近開源的新作品,主要目標是想通過自然語言操作數據庫替換傳統企業管理后臺web,有興趣的同學歡迎加入開源,覺得不錯的可以點個小??,感謝大家~

項目地址如下:

https://github.com/sql-agi/DB-GPT

作者簡介:

AI_皮皮蝦、卷過大廠、貢獻過開源、參與多次大模型比賽并??多次參加AIGC交流會(微軟AIGC等)、一直走在AIGC最前沿!

最后編輯于
?著作權歸作者所有,轉載或內容合作請聯系作者
平臺聲明:文章內容(如有圖片或視頻亦包括在內)由作者上傳并發布,文章內容僅代表作者本人觀點,簡書系信息發布平臺,僅提供信息存儲服務。

推薦閱讀更多精彩內容