介紹
不同的 LLM 在理解能力、生成質量、響應速度、推理能力等方面表現各異。因此在將 LLM 引入到項目之前,首先應該判斷該模型是否符合項目的需求。如何快速測試 LLM 的效果成為了最先應該完成的工作,而 llm-tool 就是一個絕佳的測試工具。
llm-tool優勢
- 開箱即用:只需克隆并編譯項目即可使用。
- 靈活配置:支持傳入系統提示、溫度、top-p、種子、最大 token 數等參數。
- 適配本地模型:適用于運行在 Apple Silicon 上的 MLX 模型。
- 支持資源監控:可輸出內存占用等性能指標,方便優化推理策略。
llm-tool使用步驟
- 克隆項目
git clone https://github.com/ml-explore/mlx-swift-examples.git
。 - 使用 Xcode 打開
mlx-swift-examples
項目,選擇 llm-tool 進行編譯。 - 通過終端命令
mlx-run llm-tool eval
快速測試。
案例
cd mlx-swift-examples
./mlx-run llm-tool eval \
--model /Users/yangfan/Documents/modelscope/Hermes-3-Llama-3.2-3B \
--system "你是一名出色的iOS開發者。" \
--prompt "什么是SwiftUI?" \
--temperature 0.5 \
--top-p 0.8 \
--seed 42 \
--max-tokens 1000 \
--memory-stats
效果
測試效果