不好意思老师 问题已解决 gpu_memory_utilization 设置低一点正常 启动过程中cuda graph complie阶段显存吃完了
rico
- Members
- Joined 2025年7月7日
-
一、软硬件信息
1.服务器厂家: 海光x7490
2.沐曦GPU型号：沐曦C500 8卡
3.操作系统内核版本：Ubuntu 22.04.5 LTS 内核 ： Linux c500 5.15.0-119-generic #129 SMP Fri Jul 18 04:00:41 UTC 2025 x86_64 x86_64 x86_64 GNU/Linux
4.是否开启CPU虚拟化：处于开启状态
5.mx-smi回显：附件
6.docker info回显：附件
7.镜像版本：
cr.metax-tech.com/public-ai-release/maca/vllm-metax 0.20.0-maca.ai3.7.0.107-torch2.8-py310-ubuntu22.04-amd64
8.启动容器命令：
docker run -it \
--privileged \
--network=host \
--ipc=host \
--security-opt seccomp=unconfined \
--security-opt apparmor=unconfined \
--ulimit memlock=-1 \
--model_test \
-v /data/nvme:/data/nvme/
0d307f1665d3 \
bash
9.容器内执行命令：
bash -c "/opt/conda/bin/vllm serve /data/nvme/Qwen3-32B \
--host 0.0.0.0 \
--port 18014 \
--trust-remote-code \
--disable-custom-all-reduce \
--no-enable-prefix-caching \
--tensor-parallel-size 8 \
--enable-chunked-prefill \
--dtype bfloat16"
二、问题现象
--tensor-parallel-size设置2、4 模型正常运行、但设置8 启动后会有报错 -
-
需要部署的模型如下
DeepSeek-R1-70B-BF16
Qwen3-235B-A22-W8A8
Qwen3-32B-BF16
Qwen3-32B-W8A8
MInimax 2.5developer.metax-tech.com/softnova/docker?chip_name=%E6%9B%A6%E4%BA%91C500%E7%B3%BB%E5%88%97&package_kind=MXMACA&dimension=docker&deliver_type=%E5%88%86%E5%B1%82%E5%8C%85
请问在这里应该下载什么版本的vllm镜像包, 并且是否一个镜像包就能满足部署以上几个模型呢 -
-
-
-
-
-