環境
操作系統：RockyLinux
安裝anaconda環境，可參考：http://www.lxweimin.com/p/9939df72356e
安裝evalscope
conda create -n evalscope python=3.11
conda activate evalscope
pip install evalscope[perf] -U
壓測
evalscope perf \
--url "http://10.3.6.41:8000/v1/chat/completions" \
--parallel 1 \
--model deepseek-r1-70B-4bit \
--number 15 \
--api openai \
--dataset openqa \
--stream
參數說明：
- url: 請求的URL地址
- parallel: 并行請求的任務數量
- model: 使用的模型名稱
- number: 請求數量
- api: 使用的API服務
- dataset: 數據集名稱
- stream: 是否啟用流式處理
效果
參考
https://evalscope.readthedocs.io/zh-cn/v0.9.0/user_guides/stress_test/quick_start.html#id2
