DeepSeek的爆火,讓在線使用的流暢度受到了很大的沖擊,部署到本地使用吧。
部署流程
Step1. 安裝ollama
ollama是一個開源的本地化大模型部署工具,旨在簡化大型語言模型(LLM)的安裝、運行和管理。
下載地址:https://ollama.com/download。我是windows就選擇windows的版本下載。
ollama
下載完運行OllamaSetup.exe。全部按照默認配置即可完成安裝(默認安裝在C盤上)。
安裝成功后,可以通過終端查看到安裝的版本號:Ollama版本
Step2. 下載DeepSeek模型
目前最新的模型是DeepSeek-R1,在ollma網站左上角選models(排第一的就是deepseek-r1)。或是通過models
中的搜索查找DeepSeek模型。
DeepSeek模型下載
在deepseek-r1模型的下拉框根據你的電腦配置選擇你想安裝的模型。默認的是7b的模型,如果你的電腦是集成顯卡就下載1.5b。如果你的電腦配置了Nvidia或AMD的顯卡,并且顯存在8G以上。可以直接按照默認下載7b或8b的模型。再往上就不是一般電腦可以部署的了。
image.png
模型選擇完,后面有一段命令,就是下載模型的命令。點后面的復制按鈕復制下來。粘貼到命令行終端中。或者直接在命令行終端中輸入這段命令。
ollama run deepseek-r1:14b
回車后就會開始下載模型。下載模型
如果原本已經下載完模型,運行ollama run deepseek-r1
就會進入命令行對話模式:
run DeepSeek
Step3. 安裝ChatboxAI
ChatboxAI 是一個基于先進自然語言處理技術的對話平臺,旨在為用戶提供智能、流暢且高效的對話體驗。
在:https://chatboxai.app/zh 下載windows版本的ChatboxAI。
ChatboxAI
下載完成后,選擇下要安裝的目錄,其余默認配置安裝。
安裝完成后會自動打開ChatboxAI設置,選擇本地模式。ChatboxAI 設置
ChatboxAI 配置
ChatBox