本文描述普通筆記本(集成顯卡)上安裝和運行DeespSeek模型的方法。最終效果如圖
image.png
安裝步驟
安裝Ollama
訪問Ollama主頁,點擊下載 -> Download For Windows,下載并安裝。
安裝完畢后打開windows命令行cmd
# 檢查ollama版本
> ollama --version
ollama version is 0.5.7
# 檢查已經安裝的模型,默認是空
>ollama list
NAME ID SIZE MODIFIED
確認安裝成功
下載和運行模型
# 啟動模型,如果沒有安裝則會自動下載安裝
ollama run deepseek-r1:1.5b
# 等待一定時間后顯示以下界面表示運行成功
>>> Send a message (/? for help)
# 退出模型
>>> /bye
可以直接在命令行打字交互。
可以安裝更多的模型。
#
>ollama list
NAME ID SIZE MODIFIED
deepseek-r1:7b 0a8c26691023 4.7 GB 42 minutes ago
deepseek-r1:32b 38056bbcbb2d 19 GB 55 minutes ago
deepseek-r1:14b ea35dfe18182 9.0 GB 2 hours ago
deepseek-r1:latest 0a8c26691023 4.7 GB 3 hours ago
deepseek-r1:1.5b a42b25d8c10a 1.1 GB 4 hours ago
修改模型存儲位置(可選)
默認模型存在 C:\Users\XXX\.ollama\models,如果要修改模型存儲的位置。
在電腦環境變量中新建變量
OLLAMA_MODELS = D:\XXXX
改變后重啟電腦,注意一定要重啟電腦才能生效。
image.png
模型實測比較
以本人筆記本 R7 4750+32G內存,實測模型占用的內存和性能大概如下:
模型 | 內存占用 | 速度 |
---|---|---|
1.5b | 1~2 GB | 較快,與線上模型相似 |
7b | 4~5 GB | 每秒5-8詞 |
14b | ~10 GB | 每秒2-3詞 |
32b | ~20GB | 每秒1詞 |
回答質量上,1.5b的模型在回答國內冷門區域的旅游景點時會胡編亂造,7b偶爾會中英夾雜但意思對,其余都可以較正確回答。
安裝Docker
訪問Docker wiki說明文檔,下載 Docker Desktop for Windows - x86_64 并安裝。
安裝后,運行桌面的Docker Desktop
image.png
Docker中安裝運行open-webui
在Docker中可以直接安裝運行open-webui,因此不用額外獨立安裝
# 端口3000可修改為其他端口
> docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
# 輸出信息
Unable to find image 'ghcr.io/open-webui/open-webui:main' locally
main: Pulling from open-webui/open-webui
af302e5c37e9: Pull complete
...
aa537a9b900a: Pull complete
Digest: sha256:b2c83b5c7b9b244999307b4b1c0e195d41268f3d3a62b84b470c0cea5c5743fd
Status: Downloaded newer image for ghcr.io/open-webui/open-webui:main
a8750b9857788452e981249168dcc520fe5cea4c0d917e50b58c694aca214de4
# 查看當前運行的容器
> docker ps
# 輸出信息
CONTAINER ID IMAGE COMMAND CREATED STATUS
PORTS NAMES
a8750b985778 ghcr.io/open-webui/open-webui:main "bash start.sh" 31 minutes ago Up 31 minutes (healthy) 0.0.0.0:3000->8080/tcp open-webui
839a434b163a docker/welcome-to-docker:latest "/docker-entrypoint.…" 47 minutes ago Up 47 minutes
0.0.0.0:8088->80/tcp welcome-to-docker
使用
瀏覽器打開
http://localhost:3000/
輸入設置用戶名密碼
image.png
可以直接對話,左上角選擇模型
image.png
相關資源鏈接
DeepSeek-R1 本地部署指南:Ollama 助你輕松實現,支持2G顯卡
open-webui Github主頁
open-webui wiki 說明文檔
Docker wiki說明文檔
Ollama主頁