沐曦SGLang 加载 JIT HiCache kernel Failed !!!

Members 3 posts

2026年7月6日 10:28 2026年7月6日 10:28

一、软硬件信息
1.服务器厂家: H3C UniServer R5300 G6
2.沐曦GPU型号：MetaX C500
3.操作系统内核版本：5.15.0-119-generic
4.是否开启CPU虚拟化：开启，查询结果如下
Virtualization features:
Virtualization: VT-x
5.mx-smi回显：

6.docker info回显：

7.镜像版本：cr.metax-tech.com/public-ai-release/maca/sglang:0.5.11-maca.ai3.7.1.107-torch2.8-py310-ubuntu22.04-amd64
8.启动容器命令：docker run -itd --privileged --network=host --ipc=host --security-opt seccomp=unconfined --security-opt apparmor=unconfined --ulimit memlock=-1 --name sg_preview_0511 --mount type=bind,source=/home/ubuntu/model/,target=/model cr.metax-tech.com/public-ai-release/maca/sglang:0.5.11-maca.ai3.7.1.107-torch2.8-py310-ubuntu22.04-amd64 /bin/bash
9.容器内执行命令：
mkdir -p /data && python -m sglang.launch_server --model-path /model/Qwen3-14B --host 0.0.0.0 --enable-hierarchical-cache --mem-fraction-static 0.55 --hicache-ratio 1 --hicache-storage-backend file --hicache-storage-backend-extra-config '{"cache_dir": "/data"}' --hicache-io-backend direct --hicache-mem-layout page_first_direct --page-size 64 --chunked-prefill-size 4096
INFO Print the version information of mcoplib during compilation.
二、问题现象
请描述详细的问题现象日志。若日志过长，请上传附件(txt格式）。
Failed to load JIT HiCache kernel: ninja exited with status 1
沐曦GPUhicache开启失败.txt