一、软硬件信息
1.服务器厂家:Maginfra(型号:QR9269-T2-ARX0)
2.沐曦GPU型号:C550
3.操作系统内核版本:Linux 5.14.0 GNU/Linux
4.是否开启CPU虚拟化:是(VT-x)
5.mx-smi回显:
Attached GPUs : 1
+---------------------------------------------------------------------------------+
| MX-SMI 2.3.1 Kernel Mode Driver Version: 3.4.3 |
| MACA Version: 3.7.0.38 BIOS Version: 1.30.0.0 |
|------------------+-----------------+---------------------+----------------------|
| Board Name | GPU Persist-M | Bus-id | GPU-Util sGPU-M |
| Pwr:Usage/Cap | Temp Perf | Memory-Usage | GPU-State |
|==================+=================+=====================+======================|
| 0 MetaX C550 | 0 Off | 0000:34:00.0 | 0% Disabled |
| 115W / 450W | 34C P9 | 56725/65536 MiB | Available |
+------------------+-----------------+---------------------+----------------------+
+---------------------------------------------------------------------------------+
| Process: |
| GPU PID Process Name GPU Memory |
| Usage(MiB) |
|=================================================================================|
| 0 1125362 VLLM::EngineCor 55866 |
+---------------------------------------------------------------------------------+
6.docker info回显:无
7.镜像版本:vllm-metax:0.20.0
8.启动容器命令:
9.容器内执行命令:python3 -m vllm.entrypoints.openai.api_server --model /model/Qwen3-ASR-1.7B --port 8000 --dtype bfloat16 --max-model-len 4096 --gpu-memory-utilization 0.85 --tensor-parallel-size 1 --trust-remote-code
二、问题现象
请描述详细的问题现象日志。
一、面临问题
在 MetaX C550 GPU 上部署 VLLM 推理服务(模型:Qwen3-ASR-1.7B),业务需要支撑 50 并发,但压测发现高并发下性能急剧恶化。
核心问题:低并发下单请求性能优于 NVIDIA 4090,但并发超过 20 后延迟指数级增长,QPS 不增反降。
MetaX C550 压测结果(默认配置):
并发 平均延迟 P95 P99 峰值QPS
1 167ms 167ms 167ms 10
5 210ms 333ms 359ms 20
10 498ms 578ms 586ms 70
20 1091ms 1325ms 1383ms 120
50 1606ms 2364ms 2378ms 130
100 3103ms 5938ms 6384ms 100
二、已尝试的优化措施
尝试方案 参数 效果
调大批次 --max-num-seqs 512 --max-num-batched-tokens 8192 ❌ 性能下降
调度策略 --scheduling-policy priority ❌ 效果更差
限制并发序列 --max-num-seqs 128 / 64 ❌ 无明显改善
默认配置 不加额外参数 ✅ 当前最佳
三、诉求
是否有针对 MetaX C550 高并发场景 的 VLLM 性能优化补丁?
是否存在 调度器切换参数(如 --scheduler-cls 或 --backend)可提升高并发性能?
驱动版本 3.4.3 / MACA 3.7.0.38 是否有已知的高并发调度问题?
是否有推荐的 VLLM 版本 或 配置参数组合?
该问题的根本原因是什么?是否有修复计划?