MetaX-Tech Developer Forum 论坛首页
  • 沐曦开发者
search
Sign in

tong

  • Members
  • Joined 2026年7月6日
  • message 帖子
  • forum 主题
  • favorite 关注者
  • favorite_border Follows
  • person_outline 详细信息

tong has started 1 thread.

  • See post chevron_right
    tong
    Members
    沐曦SGLang 加载 JIT HiCache kernel Failed !!! 解决中 2026年7月6日 10:28

    一、软硬件信息
    1.服务器厂家: H3C UniServer R5300 G6
    2.沐曦GPU型号:MetaX C500
    3.操作系统内核版本:5.15.0-119-generic
    4.是否开启CPU虚拟化:开启,查询结果如下
    Virtualization features:
    Virtualization: VT-x
    5.mx-smi回显:
    image.png
    6.docker info回显:
    image.png
    7.镜像版本:cr.metax-tech.com/public-ai-release/maca/sglang:0.5.11-maca.ai3.7.1.107-torch2.8-py310-ubuntu22.04-amd64
    8.启动容器命令:docker run -itd --privileged --network=host --ipc=host --security-opt seccomp=unconfined --security-opt apparmor=unconfined --ulimit memlock=-1 --name sg_preview_0511 --mount type=bind,source=/home/ubuntu/model/,target=/model cr.metax-tech.com/public-ai-release/maca/sglang:0.5.11-maca.ai3.7.1.107-torch2.8-py310-ubuntu22.04-amd64 /bin/bash
    9.容器内执行命令:
    mkdir -p /data && python -m sglang.launch_server --model-path /model/Qwen3-14B --host 0.0.0.0 --enable-hierarchical-cache --mem-fraction-static 0.55 --hicache-ratio 1 --hicache-storage-backend file --hicache-storage-backend-extra-config '{"cache_dir": "/data"}' --hicache-io-backend direct --hicache-mem-layout page_first_direct --page-size 64 --chunked-prefill-size 4096
    INFO Print the version information of mcoplib during compilation.
    二、问题现象
    请描述详细的问题现象日志。若日志过长,请上传附件(txt格式)。
    Failed to load JIT HiCache kernel: ninja exited with status 1
    沐曦GPUhicache开启失败.txt

    image.png

  • 沐曦开发者论坛
powered by misago