什么是大語言模型?
大語言模型是一種人工智能模型,通常使用深度學習技術(如神經網絡)來理解和生成人類語言。這些模型擁有非常多的參數,可以達到數十億甚至更多,使得它們能夠處理高度復雜的語言模式。
我們可以將大語言模型視為一個巨大的預測機器,其訓練過程基于“猜詞”任務:給定一段文本的開頭,模型需要預測下一個詞是什么。通過大量的訓練數據(如互聯網上的文本),模型試圖理解詞語和詞組的用法和含義,以及它們如何組合形成意義。通過不斷學習和調整參數,模型的預測能力變得越來越準確。
發展歷程
LLM 生態
基座大模型
參考:大模型綜合能力評測對比表
熱門開發框架/平臺
Langchain :是一個基于語言模型開發應用程序的框架
https://github.com/langchain-ai/langchain
LlamaIndex:是一個旨在促進私有或領域特定數據與大語言模型集成的數據框架。
https://github.com/run-llama/llama_index
Dify:是一款開源的大語言模型(LLM) 應用開發平臺。
https://github.com/langgenius/dify
AutoGen:提供了一個作為高級抽象的多智能體對話框架。
https://github.com/microsoft/autogen
LangChain導言
**LangChain **是一個用于開發由大型語言模型(LLM)提供支持的應用程序的框架。
LangChain 是一個開源框架,旨在幫助開發人員構建端到端的應用程序,利用大型語言模型作為核心驅動力。它提供了一系列工具、組件和接口,簡化了使用語言模型和聊天模型構建支持應用程序的過程。
LangChain 簡化了 LLM 應用程序生命周期的每個階段:
- 開發:使用LangChain的開源構建塊和組件構建您的應用程序。使用第三方集成和模板開始運行。
- 產品化:使用LangSmith檢查、監控和評估您的鏈,以便您可以放心地持續優化和部署。
- 部署:使用LangServe將任何鏈轉換為API。
整體架構圖
具體來說,該框架由以下開源庫組成:
- langchain-core:基礎抽象和LangChain表達式語言。
-
langchain-community:第三方集成。
- 合作伙伴包(例如 langchain-openai、langchain-anthropic 等等):一些集成已進一步拆分為它們自己的輕量級包,這些包僅僅依賴于 langchain-core。
- langchain:構成應用程序認知架構的鏈、代理和檢索策略。
- langgraph:通過將步驟建模為圖中的邊和節點,使用LLM構建健壯且有狀態的多參與者應用程序(agent)。
- langserver:將LangChain鏈部署為REST API。
- LangSmith:一個開發人員平臺,可讓我們調試、測試、評估和監控LLM應用程序。
創始人
LangChain 是由 Harrison Chase 和 Ankush Gola 在 2023 年在美國加利福尼亞州創建的人工智能公司。Harrison Chase 擔任首席執行官。
LangChain 框架 是由 Harrison Chase 在 2022 年 10 月作為開源軟件項目推出的,旨在將大型語言模型(比如 GPT-4)與外部計算和數據源結合起來。
解決的問題
LangChain 主要解決以下問題:
- 數據感知:將語言模型與其他數據源相連接,使其具備對數據的感知能力。
- 主動性:允許語言模型與其環境進行交互,具備主動響應和推理的能力。
LangChain 旨在提供上下文感知和推理能力,使應用程序更智能和靈活。
生態系統
????? LangSmith
跟蹤和評估您的語言模型應用程序和智能代理,以幫助您從原型轉向生產。
????? LangGraph
使用LLM構建有狀態的多參與者應用程序,構建在(并打算與)LangChain原語一起使用。
???? LangServe
將LangChain可運行文件和鏈部署為REST API。
安裝LangChain
LangChain 支持 Python 和 JavaScript 兩個開發版本,我們這個分享使用 python3.11 版本進行講解。
安裝 Python 參考文檔:python安裝
安裝 langchain (版本 v0.2):
pip install langchain
更多詳情信息參考文檔:langchain安裝
小結
本文介紹了什么是大語言模型,LangChain 基本信息、LangChain 生態系統以及 LangChain 安裝。
接下來,筆者將逐步深入介紹 LangChain 的入門開發,為您揭開人工智能世界的新篇章!敬請期待,探索LangChain的無限可能!
《構建一個簡單的LLM應用程序》
《構建聊天機器人》
《向量存儲和檢索》
《構建代理》
......
本文由博客一文多發平臺 OpenWrite 發布!