使用Ollama部署deepseek大模型
前置條件
使用英偉達顯卡下載cuda驅動
https://developer.nvidia.com/cuda-downloads
Ollama
Ollama 官方版: https://ollama.com/
我的顯卡在Windows電腦上面 所以使用Windows的安裝方式去安裝
若你的顯卡是在Linux上面 可以使用如下命令安裝
curl -fsSL https://ollama.com/install.sh | sh
當然Ollama不只是可以啟動deepseek模型，也可以啟動他的模型
https://ollama.com/search
# 模型的安裝命令
# 1.5B Qwen DeepSeek R1
# 所需空間大約 1.1G
ollama run deepseek-r1:1.5b
# 7B Qwen DeepSeek R1
# 所需空間大約 4.7G
ollama run deepseek-r1:7b
# 8B Llama DeepSeek R1
# 所需空間大約 4.9G
ollama run deepseek-r1:8b
# 14B Qwen DeepSeek R1
# 所需空間大約 9G
ollama run deepseek-r1:14b
# 32B Qwen DeepSeek R1
# 所需空間大約 20G
ollama run deepseek-r1:32b
# 70B Llama DeepSeek R1
# 所需空間大約 43G
ollama run deepseek-r1:70b
# 671B Llama DeepSeek R1
# 所需空間大約 404G
ollama run deepseek-r1:671b
# Windows的環境變量監聽
# OLLAMA_HOST 0.0.0.0
# 啟動命令
ollama serve
Open WebUI
官方安裝文檔：https://docs.openwebui.com/
Open WebUI官網文檔翻譯：
注意：
使用Docker安裝Open WebUI時，請確保在Docker命令中包含
-v open-webui:/app/backend/data
這一步至關重要，因為它確保您的數據庫正確掛載，避免任何數據丟失。
安裝默認配置
1.如果您的計算機上安裝了Ollama，可以使用以下命令：
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
2.如果Ollama在另一臺服務器上，請使用以下命令：
連接到另一臺服務器上的Ollama時，請將OLLAMA_BASE_URL更改為服務器的URL：
docker run -d -p 3000:8080 -e OLLAMA_BASE_URL=https://example.com -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
要使用Nvidia GPU支持運行Open WebUI，請使用以下命令：
docker run -d -p 3000:8080 --gpus all --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:cuda
3.僅用于OpenAI API使用的安裝
如果您僅使用OpenAI API，請使用以下命令：
docker run -d -p 3000:8080 -e OPENAI_API_KEY=your_secret_key -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
4.帶有捆綁Ollama支持的Open WebUI安裝
此安裝方法使用一個單獨的容器映像，將Open WebUI與Ollama捆綁在一起，通過單個命令實現簡化設置。根據您的硬件設置選擇適當的命令：
使用GPU支持：通過運行以下命令利用GPU資源
docker run -d -p 3000:8080 --gpus=all -v ollama:/root/.ollama -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:ollama
僅CPU：如果您不使用GPU，請改用以下命令：
docker run -d -p 3000:8080 -v ollama:/root/.ollama -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:ollama
這兩個命令都支持內置、簡單的安裝Open WebUI和Ollama，確保您可以快速啟動一切。
# 我用到的命令
docker run -d -p 3000:8080 -e OLLAMA_BASE_URL=http://192.168.1.100:11434 -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
訪問：http://192.168.1.120:3000
