沐曦C500 8卡测试请问推荐下载哪个版本的vllm镜像

需要部署的模型如下
DeepSeek-R1-70B-BF16
Qwen3-235B-A22-W8A8
Qwen3-32B-BF16
Qwen3-32B-W8A8
MInimax 2.5

developer.metax-tech.com/softnova/docker?chip_name=%E6%9B%A6%E4%BA%91C500%E7%B3%BB%E5%88%97&package_kind=MXMACA&dimension=docker&deliver_type=%E5%88%86%E5%B1%82%E5%8C%85
请问在这里应该下载什么版本的vllm镜像包, 并且是否一个镜像包就能满足部署以上几个模型呢

尊敬的开发者您好，使用最新版本即可

您好，镜像下载好了 可以给一些推荐的docker 启动参数吗

尊敬的开发者您好，参考developer.metax-tech.com/ai-models/v0.5.7/DeepSeek/%E5%90%AF%E5%8A%A8%E5%87%86%E5%A4%87.md#%E5%AE%B9%E5%99%A8%E5%90%AF%E5%8A%A8

您好 可以通过 CUDA_VISIBLE_DEVICES 参数指定使用哪几张GPU吗

尊敬的开发者您好，可以的

您好 老师现在准备用vllm部署模型 请问 kv cache 参数如何设置比较合适呢 或者有没有完整的vllm推荐启动参数

尊敬的开发者您好,kv cache参数vllm会自动设置，推荐启动参数请参考vLLM社区相关命令

老师您好, 我们目前测Qwen3-32B模型 vllm 2，4卡并行正常 但是8卡并行部署会有报错

尊敬的开发者您好，参考developer.metax-tech.com/forum/t/fa-tie-qian-bi-kan-jing-xiang-shi-yong-wen-ti-ti-wen-mo-ban/267/ 给出详细环境信息以及操作日志

一、软硬件信息
1.服务器厂家: 海光x7490
2.沐曦GPU型号：沐曦C500 8卡
3.操作系统内核版本：Ubuntu 22.04.5 LTS 内核 ： Linux c500 5.15.0-119-generic #129 SMP Fri Jul 18 04:00:41 UTC 2025 x86_64 x86_64 x86_64 GNU/Linux
4.是否开启CPU虚拟化：处于开启状态
5.mx-smi回显：附件
6.docker info回显：附件
7.镜像版本：
cr.metax-tech.com/public-ai-release/maca/vllm-metax 0.20.0-maca.ai3.7.0.107-torch2.8-py310-ubuntu22.04-amd64
8.启动容器命令：
docker run -it \
--privileged \
--network=host \
--ipc=host \
--security-opt seccomp=unconfined \
--security-opt apparmor=unconfined \
--ulimit memlock=-1 \
--model_test \
-v /data/nvme:/data/nvme/
0d307f1665d3 \
bash
9.容器内执行命令：
bash -c "/opt/conda/bin/vllm serve /data/nvme/Qwen3-32B \
--host 0.0.0.0 \
--port 18014 \
--trust-remote-code \
--disable-custom-all-reduce \
--no-enable-prefix-caching \
--tensor-parallel-size 8 \
--enable-chunked-prefill \
--dtype bfloat16"
二、问题现象
--tensor-parallel-size设置2、4 模型正常运行、但设置8 启动后会有报错

尊敬的开发者您好，请给出详细的报错日志

不好意思老师 问题已解决 gpu_memory_utilization 设置低一点正常 启动过程中cuda graph complie阶段显存吃完了