shuai_chen

尊敬的开发者您好，请通过GPU购买渠道申请售后支持

尊敬的开发者您好，GPU存在问题，请关机断电，重新插拔。

尊敬的开发者您好，请裸金属执行

dmesg -T | grep -i err

尊敬的开发者您好，请尝试以下命令
容器内启动命令

python -m vllm.entrypoints.openai.api_server \
--model=/xxx/Qwen/Qwen3-32B-AWQ \
--trust-remote-code \
--gpu-memory-uti1ization 0.95 \
--served-model-name "Qwen3-32B"\
--tensor-parallel-size 1 \
--max-num-batched-tokens 8192\
--max-model-1en 8192
--dtype "bfloat16"\
--host 0.0.0.0 \
--port 8000

尊敬的开发者您好，您两个服务的port一致，请更换尝试

尊敬的开发者您好，请先不使用SGPU，使用整张卡尝试推理。

尊敬的开发者您好，请使用沐曦开发者社区镜像中心vLL-MetaX镜像部署developer.metax-tech.com/softnova/docker?chip_name=%E6%9B%A6%E4%BA%91C500%E7%B3%BB%E5%88%97&package_kind=AI&dimension=docker&deliver_type=%E5%88%86%E5%B1%82%E5%8C%85&ai_frame=vllm-metax
服务启动命令参考vLLM社区文档docs.vllm.ai/en/stable/examples/pooling/embed/
docs.vllm.ai/en/stable/examples/pooling/score/

尊敬的开发者您好，是宿主机

尊敬的开发者您好，请裸金属执行

dmesg -T | grep -i err

尊敬的开发者您好，请服务器关机，拔掉电源线，重新插拔GPU。

尊敬的开发者您好，裸金属执行

dmesg -T | grep -i err

尊敬的开发者您好，当前镜像不支持DS V4 Flash，请参考developer.metax-tech.com/forum/t/deepseek-v4-flash-liang-hua-bu-shu/468/#post-1959
部署镜像由于有时效期限制，请开启个人主题获取，右上角倒数第三个图标，收件人写shuai_chen。

尊敬的开发者您好，四卡推理尝试一下

尊敬的开发者您好，请先使用双卡推理尝试

尊敬的开发者您好，请使用双卡推理尝试，删除kv cache参数，C500不支持FP8

尊敬的开发者您好，请参考developer.metax-tech.com/forum/t/fa-tie-qian-bi-kan-jing-xiang-shi-yong-wen-ti-ti-wen-mo-ban/267/ 详细描述您的操作步骤以及详细日志

尊敬的开发者您好，请参考developer.metax-tech.com/forum/t/fa-tie-qian-bi-kan-jing-xiang-shi-yong-wen-ti-ti-wen-mo-ban/267/ 详细描述您的操作步骤以及详细日志

尊敬的开发者您好，请先验证单机八卡是否正常启动