LLM 并发性能测试工具，支持自动化压力测试和性能报告生成。
- 多阶段并发测试（从低并发逐步提升到高并发）
- 自动化测试数据收集和分析
- 详细的性能指标统计和可视化报告
- 支持短文本和长文本测试场景
- 灵活的配置选项
- 生成 JSON 输出以便进一步分析或可视化
llm-benchmark/
├── run_benchmarks.py # 自动化测试脚本，执行多轮压测
├── llm_benchmark.py # 核心并发测试实现
├── README.md # 项目文档
└── assets/ # 资源文件夹
-
run_benchmarks.py:
- 执行多轮自动化压力测试
- 自动调整并发配置（1-300 并发）
- 收集和汇总测试数据
- 生成美观的性能报告
-
llm_benchmark.py:
- 实现核心并发测试逻辑
- 管理并发请求和连接池
- 收集详细性能指标
- 支持流式响应测试
运行全套性能测试：
export T_LLM_URL="http://localhost:11434/v1"
export T_MODEL_NAME="deepseek-r1:14b"
export T_MODEL_NAME="qwen2.5:7b-instruct-q4_K_M"
export T_API_KEY="ollama"
python run_benchmarks.py \
--llm_url ${T_LLM_URL} \
--api_key ${T_API_KEY} \
--model ${T_MODEL_NAME} \
--use_long_context运行单次并发测试：
#export T_LLM_URL="http://localhost:11434/v1"
#export T_MODEL_NAME="deepseek-r1:14b"
export T_LLM_URL="http://localhost:1234/v1"
export T_MODEL_NAME="deepseek/deepseek-r1-0528-qwen3-8b"
export T_API_KEY="ollama"
python llm_benchmark.py \
--llm_url ${T_LLM_URL} \
--api_key ${T_API_KEY} \
--model ${T_MODEL_NAME} \
--num_requests 10 \
--concurrency 1| 参数 | 说明 | 默认值 |
|---|---|---|
| --llm_url | LLM 服务器 URL | 必填 |
| --api_key | API 密钥 | 选填 |
| --model | 模型名称 | deepseek-r1 |
| --use_long_context | 使用长文本测试模式 | False |
| 参数 | 说明 | 默认值 |
|---|---|---|
| --llm_url | LLM 服务器 URL | 必填 |
| --api_key | API 密钥 | 选填 |
| --model | 模型名称 | deepseek-r1 |
| --num_requests | 总请求数 | 必填 |
| --concurrency | 并发数 | 必填 |
| --output_tokens | 输出 token 数限制 | 50 |
| --request_timeout | 请求超时时间(秒) | 60 |
| --output_format | 输出格式(json/line) | line |
本项目采用 MIT License 开源协议。