本地嘗試大模型
新年第一文，筆者本地部署大模型看看效果怎么樣。
1.首先下載個ollama，這是開源項(xiàng)目，運(yùn)行本地大模型的框架。
這個支持mac、linux、windows，比較簡單。下載安裝過程比較簡單，筆者windows版本未遇到兼容性問題。
2.其次我們下載一個本地模型，這個也在ollama官網(wǎng)下載。
官網(wǎng)有個Models，點(diǎn)擊后有很多模型可供選擇。這里筆者選擇deepseek-r1
復(fù)制ollama官網(wǎng)給出的下載命令到CMD里直接執(zhí)行，安裝好ollama后，筆者這里環(huán)境變量自動添加上了。
ollama run deepseek-r1
模型參數(shù)筆者選擇的7b，意思是70億個模型的參數(shù)。下拉7b可以看到大致需要的顯存是不到5GB。
然后筆者問了個問題，發(fā)現(xiàn)卡的不行。
CPU直接拉滿了，GPU使用率不高。筆者想了想自己的計算機(jī)配置是GTX 1060 3GB，計算機(jī)56GB內(nèi)存。想想看算了，就算使用GPU來跑估計也是夠嗆。
直接使用命令行感覺也不太方便。無論是切換模型，還是查看歷史信息。可以安裝一個webUI，這個也有python的開源項(xiàng)目。
pip install open-webui
直接pip下載open-webui就好了。注意，該項(xiàng)目提示python環(huán)境最好是3.11的版本。
下載完成直接運(yùn)行啟動命令
open-webui serve
服務(wù)啟動成功，默認(rèn)監(jiān)聽的是8080端口。
直接訪問localhost的地址就行了，第一次使用需要注冊個管理員賬號。
在模型里面找到之前安裝的deekseek-r1模型。
然后就能愉快的進(jìn)行對話了。
當(dāng)然，卡還是卡，這個沒辦法。
發(fā)現(xiàn)有個報錯，有個接口異常了。我們可以在設(shè)置里干掉這個API接口。
在設(shè)置里的外部連接可以把這個API接口給刪掉。
就筆者初步使用體驗(yàn)而言，有web界面確實(shí)方便。但是沒有好的配置還是只能玩玩。實(shí)際使用體驗(yàn)還不如各家官網(wǎng)提供的服務(wù)來的好。
那什么配置可以流暢運(yùn)行呢。上網(wǎng)查了下基本都是推薦大顯存的英偉達(dá)頂配顯卡，或者直接MAC工作站。相較而言MAC MINI可能是個性價比的選擇。
綜上，祝各位新年快樂。巳巳如意，生生不息。
