SwiftUI-MLX本地大模型開發(五)

介紹

不同的 LLM 在理解能力、生成質量、響應速度、推理能力等方面表現各異。因此在將 LLM 引入到項目之前,首先應該判斷該模型是否符合項目的需求。如何快速測試 LLM 的效果成為了最先應該完成的工作,而 llm-tool 就是一個絕佳的測試工具。

llm-tool優勢

  • 開箱即用:只需克隆并編譯項目即可使用。
  • 靈活配置:支持傳入系統提示、溫度、top-p、種子、最大 token 數等參數。
  • 適配本地模型:適用于運行在 Apple Silicon 上的 MLX 模型。
  • 支持資源監控:可輸出內存占用等性能指標,方便優化推理策略。

llm-tool使用步驟

  • 克隆項目git clone https://github.com/ml-explore/mlx-swift-examples.git
  • 使用 Xcode 打開mlx-swift-examples項目,選擇 llm-tool 進行編譯。
  • 通過終端命令mlx-run llm-tool eval快速測試。

案例

cd mlx-swift-examples

./mlx-run llm-tool eval \
    --model /Users/yangfan/Documents/modelscope/Hermes-3-Llama-3.2-3B \
    --system "你是一名出色的iOS開發者。" \
    --prompt "什么是SwiftUI?" \
    --temperature 0.5 \
    --top-p 0.8 \
    --seed 42 \
    --max-tokens 1000 \
    --memory-stats

效果

測試效果
?著作權歸作者所有,轉載或內容合作請聯系作者
平臺聲明:文章內容(如有圖片或視頻亦包括在內)由作者上傳并發布,文章內容僅代表作者本人觀點,簡書系信息發布平臺,僅提供信息存儲服務。

推薦閱讀更多精彩內容