• Members 2 posts
    2026年6月29日 11:36

    一、软硬件信息
    1.服务器厂家:Maginfra(型号:QR9269-T2-ARX0)
    2.沐曦GPU型号:C550
    3.操作系统内核版本:Linux 5.14.0 GNU/Linux
    4.是否开启CPU虚拟化:是(VT-x)
    5.mx-smi回显:
    Attached GPUs : 1
    +---------------------------------------------------------------------------------+
    | MX-SMI 2.3.1 Kernel Mode Driver Version: 3.4.3 |
    | MACA Version: 3.7.0.38 BIOS Version: 1.30.0.0 |
    |------------------+-----------------+---------------------+----------------------|
    | Board Name | GPU Persist-M | Bus-id | GPU-Util sGPU-M |
    | Pwr:Usage/Cap | Temp Perf | Memory-Usage | GPU-State |
    |==================+=================+=====================+======================|
    | 0 MetaX C550 | 0 Off | 0000:34:00.0 | 0% Disabled |
    | 115W / 450W | 34C P9 | 56725/65536 MiB | Available |
    +------------------+-----------------+---------------------+----------------------+

    +---------------------------------------------------------------------------------+
    | Process: |
    | GPU PID Process Name GPU Memory |
    | Usage(MiB) |
    |=================================================================================|
    | 0 1125362 VLLM::EngineCor 55866 |
    +---------------------------------------------------------------------------------+

    6.docker info回显:无
    7.镜像版本:vllm-metax:0.20.0
    8.启动容器命令:
    9.容器内执行命令:python3 -m vllm.entrypoints.openai.api_server --model /model/Qwen3-ASR-1.7B --port 8000 --dtype bfloat16 --max-model-len 4096 --gpu-memory-utilization 0.85 --tensor-parallel-size 1 --trust-remote-code
    二、问题现象
    请描述详细的问题现象日志。

    一、面临问题
    在 MetaX C550 GPU 上部署 VLLM 推理服务(模型:Qwen3-ASR-1.7B),业务需要支撑 50 并发,但压测发现高并发下性能急剧恶化。
    核心问题:低并发下单请求性能优于 NVIDIA 4090,但并发超过 20 后延迟指数级增长,QPS 不增反降。
    MetaX C550 压测结果(默认配置):
    并发 平均延迟 P95 P99 峰值QPS
    1 167ms 167ms 167ms 10
    5 210ms 333ms 359ms 20
    10 498ms 578ms 586ms 70
    20 1091ms 1325ms 1383ms 120
    50 1606ms 2364ms 2378ms 130
    100 3103ms 5938ms 6384ms 100

    二、已尝试的优化措施
    尝试方案 参数 效果
    调大批次 --max-num-seqs 512 --max-num-batched-tokens 8192 ❌ 性能下降
    调度策略 --scheduling-policy priority ❌ 效果更差
    限制并发序列 --max-num-seqs 128 / 64 ❌ 无明显改善
    默认配置 不加额外参数 ✅ 当前最佳

    三、诉求
    是否有针对 MetaX C550 高并发场景 的 VLLM 性能优化补丁?
    是否存在 调度器切换参数(如 --scheduler-cls 或 --backend)可提升高并发性能?
    驱动版本 3.4.3 / MACA 3.7.0.38 是否有已知的高并发调度问题?
    是否有推荐的 VLLM 版本 或 配置参数组合?
    该问题的根本原因是什么?是否有修复计划?

  • arrow_forward

    Thread has been moved from 公共.

  • Members 650 posts
    2026年6月29日 11:43
  • arrow_forward

    Thread has been moved from 解决中.