相關鏈接
B站教程視頻 1700多種開源大模型隨意部署！一鍵本地搭建大模型+知識庫，不挑環境、不挑配置
部署過程
ollama安裝
ollama 官網下載一鍵安裝
命令行 輸入 ollama 校驗是否安裝成功
成功會顯示 Usage、 Available Commands 以及 Flags 信息
模型下載運行
打開 Ollama 官網，右上角搜索框輸入需要的模型。
如搜索 “通義千問開源版” qwen
找到 pull 次數最多的，點擊進入詳情頁面
選擇對應版本，復制使用命令 ollama run qwen ，粘貼到命令行 ，按下回車，ollama 會自動下載并運行模型
命令行顯示 success 并 出現 “send a message” 表示運行成功
管理模型
命令行輸入 ollama list, 顯示已安裝模型
ollama run 模型名字 運行模型
rm 模型名字 刪除模型
MaxKB
安裝Docker
Windows：開啟 Hyper - V，點擊安裝包安裝
macOS：點擊安裝包安裝
Linux： 使用包管理器或源碼編譯
運行Docker
Docker 安裝完成后，命令行輸入以下命令，數據持久化至D盤。實際部署根據情況修改位置。
docker run -d --name=maxkb -p 8080:8080 -v D:/maxkb/data:/var/lib/postgresql/data 1panel/maxkb
訪問MaxKB
在瀏覽器訪問 設備IP:8080, 可以看到 MaxKB 的服務界面
默認密碼
admin
MaxKB@123.
添加模型
【系統設置】- 【模型設置】-【添加模型】
選擇 Ollama ，輸入模型名字、模型類型，選擇基礎模型。
若選項中沒有需要的模型
- 在命令行內執行命令
ollama list，復制模型名字
- ollama 官網內查詢模型，復制 run 命令后的模型名字
粘貼到輸入框內
輸入 Ollama 的 API 域名 http://設備IP:11434, 輸入之前可以在瀏覽器輸入“IP:11434” 試一下，如果能正常打開并看見“Ollama is running” 就說明沒問題。
若 Ollama 和 MaxKB 安裝在不同的設備 ，一定要保證 MaxKB 所在設備可以訪問到 Ollma 的地址
( docker 部署則輸入 http://host.docker.internal:11434)
API Key 默認是沒有的，隨便輸入 123 即可。
添加應用
【應用】- 【創建應用】
填寫名稱， 選擇剛剛創建的模型類型，配置一下其他設置，點擊創建即可。
演示
點擊應用圖標上的 【演示】按鈕
知識庫
【知識庫】- 【創建知識庫】
填寫名稱和描述，選擇對應的知識庫類型，上傳文檔， 點擊 【創建并導入】
然后對文檔內容進行分段處理 點擊【開始導入】，知識庫創建完成
【應用】- 【設置】-【關聯知識庫】
還可以根據需要設置提示詞和開場白
選擇【概覽】
點擊【演示】，可以直接訪問并聊天
點擊【嵌入第三方】，可以把它用不同的形式嵌入到需要的網站中
選擇【命中測試】，測試問題是否能正確關聯到知識庫的內容。
如果文檔中有相關內容但關聯不到，可以通過【參數調整】來優化
參數調整完，到設置中的【關聯知識庫】-【參數設置】同步修改即可
