介紹

不同的 LLM 在理解能力、生成質量、響應速度、推理能力等方面表現各異。因此在將 LLM 引入到項目之前，首先應該判斷該模型是否符合項目的需求。如何快速測試 LLM 的效果成為了最先應該完成的工作，而 llm-tool 就是一個絕佳的測試工具。

llm-tool優勢

• 開箱即用：只需克隆并編譯項目即可使用。
• 靈活配置：支持傳入系統提示、溫度、top-p、種子、最大 token 數等參數。
• 適配本地模型：適用于運行在 Apple Silicon 上的 MLX 模型。
• 支持資源監控：可輸出內存占用等性能指標，方便優化推理策略。

llm-tool使用步驟

• 克隆項目git clone https://github.com/ml-explore/mlx-swift-examples.git。
• 使用 Xcode 打開mlx-swift-examples項目，選擇 llm-tool 進行編譯。
• 通過終端命令mlx-run llm-tool eval快速測試。

案例

cd mlx-swift-examples

./mlx-run llm-tool eval \
    --model /Users/yangfan/Documents/modelscope/Hermes-3-Llama-3.2-3B \
    --system "你是一名出色的iOS開發者。" \
    --prompt "什么是SwiftUI？" \
    --temperature 0.5 \
    --top-p 0.8 \
    --seed 42 \
    --max-tokens 1000 \
    --memory-stats

效果

測試效果