1.服务器厂家:
2.沐曦GPU型号:c500
3.操作系统内核版本:沐曦官网提供的 docker 运行的sglang与用户本地os内核版本没啥关系
4.是否开启CPU虚拟化: 否
5.mx-smi回显:
6.docker info回显:
7.镜像版本:
8.启动容器命令:
docker run -itd \
--privileged --network=host --ipc=host --ulimit memlock=-1 \
--security-opt seccomp=unconfined \
--security-opt apparmor=unconfined \
--name Qwen3.5-9B \
-v /data/models/:/models/ \
cr.metax-tech.com/public-ai-release/maca/sglang:0.5.9-maca.ai3.5.3.208-torch2.8-py312-ubuntu22.04-amd64 bash
9.容器内执行命令:
python3 -m sglang.launch_server \
--host 0.0.0.0 --port 9100 \
--model-path /models/Qwen3.5-9B --served-model-name qwen3.5-9b \
--tensor-parallel-size 2 --mem-fraction-static 0.85 --context-length 40960 \
--trust-remote-code --enable-metrics --disable-cuda-graph