MetaX-Tech Developer Forum 论坛首页
  • 沐曦开发者
search
Sign in
  • chevron_right Threads
  • label 产品&运维
  • label 已解决

加载qwen3-vl-235b卡住问题求助

wanglifeng
2026年2月2日
chat_bubble_outline 5
  • link
    wanglifeng
    Members 6 posts
    2026年2月2日 18:56 2026年2月2日 18:56
    link

    服务器:
    h3c服务器
    芯片:
    c550
    操作系统:
    PRETTY_NAME="Ubuntu 22.04.5 LTS"
    NAME="Ubuntu"
    VERSION_ID="22.04"
    VERSION="22.04.5 LTS (Jammy Jellyfish)"
    VERSION_CODENAME=jammy
    ID=ubuntu
    ID_LIKE=debian
    HOME_URL="www.ubuntu.com/"
    SUPPORT_URL="help.ubuntu.com/"
    BUG_REPORT_URL="bugs.launchpad.net/ubuntu/"
    PRIVACY_POLICY_URL="www.ubuntu.com/legal/terms-and-policies/privacy-policy"
    UBUNTU_CODENAME=jammy
    启动的模型:qwen3-vl-235b
    镜像启动:docker run \
    --network=host \
    --device /dev/dri:/dev/dri \
    --device /dev/mxcd:/dev/mxcd \
    --group-add video \
    --runtime=runc \
    --detach=true \
    --shm-size 100gb \
    --ulimit memlock=-1 \
    -it \
    cr.metax-tech.com/public-ai-release/maca/vllm-metax:0.12.0-maca.ai3.3.0.204-torch2.8-py312-ubuntu22.04-amd64
    模型启动命令:vllm serve qwen3-vl-235b-a22 --tensor-parallel-size 8 --max-model-len 1024 --enable-chunked-prefill --max-num-batched-tokens 2048 --trust-remote-code --gpu-memory-utilization 0.80 --mm-processor-cache-gb 0

    看样子是卡在多卡通信如何解决

    image.png

    PNG, 26.3 KB, uploaded by wanglifeng on 2026年2月2日.

    image.png

    PNG, 134.1 KB, uploaded by wanglifeng on 2026年2月2日.

  • link
    shuai_chen
    Members 221 posts
    2026年2月2日 18:58 2026年2月2日 18:58
    link

    尊敬的开发者您好,您是单机启动还是双机。

  • arrow_forward

    Thread has been moved from 公共.

    • By shuai_chen on 2026年2月2日 18:58.
  • link
    wanglifeng
    Members 6 posts
    2026年2月2日 19:00 2026年2月2日 19:00
    link

    您好 ,是单机8卡启动

  • link
    shuai_chen
    Members 221 posts
    2026年2月2日 19:05 2026年2月2日 19:05
    link

    尊敬的开发者您好,此模型单机八卡无法启动。

  • link
    wanglifeng
    Members 6 posts
    2026年2月2日 19:07 2026年2月2日 19:07
    link

    能否给下多机启动的命令 或者多机启动是否需要有注意的点 避免启动失败

  • link
    shuai_chen
    Members 221 posts
    2026年2月2日 19:08 2026年2月2日 19:08
    link

    尊敬的开发者您好,多机启动命令请联系相关商务接口人申请技术支持!

  • arrow_forward

    Thread has been moved from 解决中.

    • By Yuan_Tu on 2026年2月11日 11:04.
arrow_upward Go to top
  • 沐曦开发者论坛
powered by misago