核心參考文檔
openwebui的官方文檔
https://docs.openwebui.com/tutorial/web_search/
踩坑列表
- 本機8080端口占用(nginx)
這個最簡單,我把外部端口占用改為了8081,docker啟動時命令是 8081:8080。這里后邊的端口是docker內部占用端口默認是不能修改的。 - 按照說明配置localhost:8081后報錯 HTTPConnectionPool(host='localhost', port=8081): Max retries exceeded
這里的核心原因是宿主機的8081端口,docker內部默認是無法訪問的。先嘗試改docker網絡模式為host,發現起不來,然后把host改為 host.docker.internal 即可通過docker原生能力訪問宿主機端口 - 報錯變為了403 Client Error: FORBIDDEN for url: http://host.docker.internal:8081/search
這里主要是在啟動searxng時,我偷懶直接用了最下方的docker命令一鍵啟動了searxng,導致默認不支持json格式返回值。按照文檔修改配置文件后,重新啟動searxng即可。
本次事件用的ollama運行的llama3.1-8B(32g m1 macbook),簡單測試下來效果比較一般,還不如豆包的效果好,速度慢,正確率低(仔細查看網絡搜索都有問題答案,回答還是錯誤的),僅適合有本地化強訴求的同學來用。
近期看一篇文檔,通過CoT的模式,只要循環調用小模型也可以提升效果,后續嘗試找一些CoT的框架來做一些自娛自樂的小測試。