8卡C500是否可以部署minimax2.7, 是否可以提供vllm启动参数,是不是int8可以
8卡C500是否可以部署minimax2.7, 是否可以提供vllm启动参数,是不是int8可以
尊敬的开发者您好,八卡C500可以部署MinimaxW8A8,
模型权重modelscope.cn/models/metax-tech/MiniMax-M2.7-W8A8
模型镜像沐曦开发者社区镜像中心vllm0.17.0
vllm启动参数
export MACA_SMALL_PAGESIZE_ENABLE=1
export MACA_VLLM_ENABLE_MCTLASS_FUSED_MOE=1
export MACA_VLLM_ENABLE_MCTLASS_PYTHON_API=1
vllm serve /models/MiniMax-M2.7-W8A8/ \
-tp 8 --trust-remote-code --max_num_batched_tokens 32768 --swap-space 16 \
--port 8010 \
--tool-call-parser minimax_m2 \
--reasoning-parser minimax_m2_append_think \
--enable-auto-tool-choice \
--gpu-memory-utilization 0.9 \
--async-scheduling \
--no-enable-prefix-caching #视需求开 prefix cache
tp 8 的时候报错,我可以尝试调低,但是这是否意味着其他的也要跟着调整,比如上下文长度
尊敬的开发者您好,请在裸金属执行
dmesg -T | grep -i err
This post is hidden. You cannot see its contents.
Hidden by shuai_chen on 2026年5月11日 11:55.
尊敬的开发者您好,GPU ID B8400D0存在问题,请给出裸金属mx-smi回显。
尊敬的开发者您好,GPU ID 4存在问题,请使用qwen的几B小参数量模型,使用CUDA_VISIBLE_DEVICES逐一为0-7,tp为1进行推理服务启动尝试,再次确认GPU异常问题
尊敬的开发者您好,请关机服务器拔掉电源线,重新插拔GPU。如何确定GPU位置,一般来说是从左到右,或从右到左第四个。通过mx-smi相关命令获取GPU SN号,拔下来以后核对GPU PCIE卡上的SN号。