以上是我的顯卡的參數，可以運行llama3.2:3b，qwen2.5:14b模型，不同模型上網自行獲取。
1. 添加環境變量
在下載 ollama 之前，先去配置環境變量，確保模型下載到我們想要的地方
win10 和 win11 輸入path或者環境變量：
增加系統環境變量
變量名不可更改，必須是OLLAMA_MODELS，變量值可以自定義，如圖1-1-1所示
2. 下載ollama
下載網址：Download Ollama on Windows
下載后得到安裝包，如果不添加環境變量的話，默認會安裝到C盤，如下圖2-1-1所示
3. 檢驗是否安裝成功
win+R 輸入cmd后，彈出命令行界面，輸入ollama命令，正常的得出命令行輸出，表示已經安裝成功, 如圖3-1-1、3-1-2所示
4. 通過ollama下載模型
4.1. ollama 模型庫
詳見library (ollama.com)，用于搜索已收錄的模型庫。以下是一些流行的模型：
4.2. 下載運行llama3.2 3b
ollama run llama3.2:3b # 運行llama3.2:3b大模型
直接使用 run 命令 + 模型名字就可以運行模型。如果之前沒有下載過，那么會自動下載。下載完畢之后可以在終端中直接進行對話了。如圖4-2-1所示
5. 安裝open-webui
open-webui 是一款可擴展的、功能豐富的用戶友好型自托管 Web 界面，旨在完全離線運行。它支持包括 Ollama 和與 OpenAI 兼容的 API 在內的多種 LLM 運行器。想了解更多信息，可以查閱開放式WebUI文檔。
5.1. docker 卸載
控制面板 -> 卸載程序 -> 雙擊Docker Desktop，如圖所示
但這樣卸載不干凈，存在文件殘留，我嘗試找到了幾個，供參考：
"C:\Users\zhouxs\AppData\Local\Docker"
"C:\Users\zhouxs\AppData\Roaming\Docker"
"C:\Users\zhouxs\AppData\Roaming\Docker Desktop"
5.2. docker 安裝
docker 官網：https://www.docker.com/products/docker-desktop/
先去官網下載安裝包，選擇對應的操作系統和CPU架構的安裝包
完畢之后打開docker desktop進入圖5-2-2下面這個界面：
5.2.1修改鏡像站
選擇設置(Settings)，選擇Docker Engine, 添加鏡像站，加快下載速度，添加后點 Apply，如圖5-2-3
{
? "builder": {
? ? "gc": {
? ? ? "defaultKeepStorage": "20GB",
? ? ? "enabled": true
? ? }
? },
? "experimental": false,
? "features": {
? ? "buildkit": true
? },
? "registry-mirrors": [
? ? "https://1nj0zren.mirror.aliyuncs.com",
? ? "https://docker.mirrors.ustc.edu.cn",
? ? "http://f1361db2.m.daocloud.io",
? ? "https://registry.docker-cn.com"
? ]
}
5.2.2修改docker image存儲文件來
選擇設置(Settings)，選擇資源（Resources), 選擇高級（Advanced), 修改存儲位置為D盤D:\ProgramData\Docker下，選擇Apply&Restart,? 如圖5-2-4所示
到這里 docker desktop 的配置就大功告成了，可以開始下載 open-webui 容器了 。
5.3. 通過 docker 下載 Open WebUI
如果沒有GPU運行
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
如果 Ollama 位于不同的服務器上，請使用以下命令：
要連接到另一臺服務器上的 Ollama，請更改OLLAMA_BASE_URL為該服務器的 URL：
docker run -d -p 3000:8080 -e OLLAMA_BASE_URL=https://example.com -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
要運行支持 Nvidia GPU 的 Open WebUI，請使用以下命令：
docker run -d -p 3000:8080 --gpus all --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:cuda
完成后如下圖5-3-1所示
5.3.1. 僅供OpenAI API 使用安裝
如果您僅使用 OpenAI API，請使用此命令：
docker run -d -p 3000:8080 -e OPENAI_API_KEY=your_secret_key -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
5.3.2. 同時安裝 Ollama 和 Open WebUI
此安裝方法使用將 Open WebUI 與 Ollama 捆綁在一起的單個容器映像，從而允許通過單個命令進行簡化設置。根據您的硬件設置選擇適當的命令：
借助 GPU 支持：通過運行以下命令來利用 GPU 資源：
docker run -d -p 3000:8080 --gpus=all -v ollama:/root/.ollama -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:ollama
僅適用于 CPU：如果您不使用 GPU，請改用以下命令：
docker run -d -p 3000:8080 -v ollama:/root/.ollama -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:ollama
這兩個命令都有助于 Open WebUI 和 Ollama 的內置、無憂安裝，確保您可以快速啟動并運行一切。
安裝后，可以通過http://localhost:3000訪問 Open WebUI 。
最終效果：
Sign up 創建賬戶并登錄后，左上角模型選擇我們之前下好的llama3.2:3b，就可以開始對話了，可以上傳文件，響應速度還是很快的：
