MetaX-Tech Developer Forum 论坛首页
  • 沐曦开发者
search
Sign in
  • chevron_right Threads
  • label 产品&运维
  • label 已解决

曦思N300用vllm镜像跑Qwen3.5-27B报错,用sglang镜像跑也报错

are_you_ok
2026年9月16日
chat_bubble_outline 9
  • link
    are_you_ok
    Members 7 posts
    2026年9月16日 19:00 2026年9月16日 19:00
    link

    镜像:cr.metax-tech.com/public-ai-release/maca/vllm-metax:0.26.0-maca.ai3.8.2.208-torch2.10-py312-ubuntu22.04-amd64
    驱动版本:MACA Version: 3.8.2.6 BIOS 版本:2.3.7.0 image.png
    运行命令及报错截图如下:image.png
    镜像启动命令为:docker run -itd \
    --privileged \
    --network=host \
    --ipc=host \
    --security-opt seccomp=unconfined \
    --security-opt apparmor=unconfined \
    --ulimit memlock=-1 \
    --name vllm-test-python12 \
    -v /home/data/models/:/workspace \
    cr.metax-tech.com/public-ai-release/maca/vllm-metax:0.26.0-maca.ai3.8.2.208-torch2.10-py312-ubuntu22.04-amd64 \
    bash
    sglang镜像启动服务报错截图:image.png

    image.png

    PNG, 623.2 KB, uploaded by are_you_ok on 2026年9月16日.

  • arrow_forward

    Thread has been moved from 公共.

    • By shuai_chen on 2026年9月16日 19:02.
  • link
    shuai_chen
    Members 949 posts
    2026年9月16日 19:03 2026年9月16日 19:03
    link

    尊敬的开发者您好,N300-A不支持FP8

  • link
    are_you_ok
    Members 7 posts
    2026年9月17日 10:08 2026年9月17日 10:08
    link

    用fp16的模型也会报一样的错,如下图:
    image.png

  • link
    shuai_chen
    Members 949 posts
    2026年9月17日 10:51 2026年9月17日 10:51
    link

    尊敬的开发者您好,请宿主机执行dmesg -T | grep -i err

  • link
    are_you_ok
    Members 7 posts
    2026年9月17日 10:59 2026年9月17日 10:59
    link

    是有一些版本不匹配的报错,麻烦您看看image.png
    当前的版本是这个image.png

  • link
    shuai_chen
    Members 949 posts
    2026年9月17日 11:11 2026年9月17日 11:11
    link

    尊敬的开发者您好,请重新安装固件,安装选择N300-A的固件

  • link
    are_you_ok
    Members 7 posts
    2026年9月17日 11:13 2026年9月17日 11:13
    link

    固件安装完后需要断电重启吗,还是直接reboot就行

  • link
    shuai_chen
    Members 949 posts
    2026年9月17日 11:15 2026年9月17日 11:15
    link

    尊敬的开发者您好,reboot就行

  • link
    are_you_ok
    Members 7 posts
    2026年9月17日 11:33 2026年9月17日 11:33
    link

    安装固件重启后,运行还是报一样的错,
    固件升级命令如下图:image.png
    dmesg报错如下:image.png
    vllm报错如下:image.png

  • link
    shuai_chen
    Members 949 posts
    2026年9月17日 11:49 2026年9月17日 11:49
    link

    尊敬的开发者您好,请通过GPU购买商务渠道申请售后解决此问题

  • arrow_forward

    Thread has been moved from 解决中.

    • By shuai_chen on 2026年9月23日 10:12.
arrow_upward Go to top
  • 沐曦开发者论坛
powered by misago