介紹
Ollama：一款可以讓你在本地快速搭建大模型的工具
github：https://github.com/ollama/ollama
Gemma：谷歌開源的大模型
open-webui：非常不錯的大模型webui
github：https://github.com/open-webui/open-webui
開始搭建
第一步選擇系統版本：
因為大模型需要的GPU來運算，當然其實CPU也可以，但我們今天講的是要用GPU來跑的，所以我們在購買服務器的時候，一定要選擇GPU服務器，然后看看服務器的系統版本對GPU顯卡支持的更好。
第二步部署Ollama：
部署ollama非常簡單直接輸入：
curl -fsSL https://ollama.com/install.sh | sh
等待安裝完成后，就如下圖：
你還可以輸入：ollama 看看一些基本操作
因為我們需要開放API，ollama的開放端口是11434，我們在服務器商那邊打開11434端口，然后直接ip:11434進行訪問。
這時候我就發現了ollama的一個坑，我們在成功啟動ollama的時候就已經直接占用了11434端口，但是我們直接訪問發現是無法訪問的，通過防火墻各種排查發現是ollama的配置文件里面出現了問題，解決方法如下：
直接輸入：
sudo vi /etc/systemd/system/ollama.service
按i進入插入模式，在ExecStart=/usr/local/bin/ollama serve上面插入：Environment=”OLLAMA_HOST=0.0.0.0:11434″
按ESC再輸入:wq回車保存
我們直接重啟服務器，重啟后輸入：ollama
然后在打開ip:11434就可以直接訪問了
[圖片上傳失敗...(image-c25007-1713937797909)]
這樣就是成功了
第三步部署：Gemma
gemma是靠ollama來部署的，所以我們直接輸入：
ollama run gemma
耐心等待部署完成，如下圖：
完成后我們可以直接進行提問，這就好啦！
第四步部署：open-webui
因為open-webui是在Docker里面部署的，所以我們需要先部署Docker，因為我是用的阿里云的Alibaba Cloud Linux 3系統，所以我直接是按照阿里云的官方教程來的，建議你們也是按照自己的系統去安裝Docker，我就不過多的說了。
安裝open-webui直接輸入：
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
如果你直接輸入的話你就入坑了，如果你的服務器是國內的話，直接下載ghcr.io的鏡像簡直就是折磨，下一天都不一定下的完，所以我們需要改一下，把ghcr.io改成ghcr.nju.edu.cn再輸入：
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.nju.edu.cn/open-webui/open-webui:main
這樣就嘎嘎的快，像上面這樣就成功了
我們再輸入：
sudo docker images
查看一下當前的容器，然后再輸入我們要啟動的容器：
docker run -d ghcr.nju.edu.cn/open-webui/open-webui
如下圖：
我們再把open-webui的端口3000去打開一下，直接訪問IP:3000就可以啦
注冊一個賬號進去
在設置里面看看ollama連接狀態是成功的就好了，直接用起來吧！
