MetaX-Tech Developer Forum 论坛首页
  • 沐曦开发者
search
Sign in
  • chevron_right Threads
  • label 产品&运维
  • label 解决中

glm5.1 PD分离问题

lishuai
2026年7月3日
chat_bubble_outline 14
  • link
    lishuai
    Members 38 posts
    2026年7月3日 17:25 2026年7月3日 17:25
    link

    我在六机上进行glm5.1 PD分离操作,启动decode节点报错,报错内容如文件

    insert_drive_file
    decode日志.txt

    Text, 17.0 KB, uploaded by lishuai on 2026年7月3日.

  • arrow_forward

    Thread has been moved from 产品&运维.

    • By shuai_chen on 2026年7月3日 17:38.
  • link
    shuai_chen
    Members 650 posts
    2026年7月3日 17:39 2026年7月3日 17:39
    link

    尊敬的开发者您好,请检查RDMA网络,RDMA网络异常

  • link
    lishuai
    Members 38 posts
    2026年7月6日 11:26 2026年7月6日 11:26
    link

    用的是博通的网卡,日志中的报错为:
    ibgda_mlx5.cpp:2310: non-zero status: -2 mlx5_devices_init failed
    → mxshmem_ibgda_init failed
    → mxshmemi_transport_init failed
    → mxshmem_internal_init_thread failed

    是不是和这个有关系,还是要升级网卡版本?

  • link
    shuai_chen
    Members 650 posts
    2026年7月6日 11:27 2026年7月6日 11:27
    link

    尊敬的开发者您好,请在容器中安装博通网卡驱动

  • link
    lishuai
    Members 38 posts
    2026年7月6日 11:29 2026年7月6日 11:29
    link

    博通网卡环境如图

    image.png

    PNG, 564.8 KB, uploaded by lishuai on 2026年7月6日.

  • link
    lishuai
    Members 38 posts
    2026年7月6日 11:37 2026年7月6日 11:37
    link

    是不是需要替换mxshmen算子?

  • link
    shuai_chen
    Members 650 posts
    2026年7月6日 11:38 2026年7月6日 11:38
    link

    尊敬的开发者您好,请在容器中安装博通网卡驱动

  • link
    lishuai
    Members 38 posts
    2026年7月6日 11:40 2026年7月6日 11:40
    link

    容器中的网卡环境如图

    image.png

    PNG, 366.3 KB, uploaded by lishuai on 2026年7月6日.

  • link
    shuai_chen
    Members 650 posts
    2026年7月6日 11:45 2026年7月6日 11:45
    link

    尊敬的开发者您好,请在容器中安装博通网卡驱动bnxt_re,镜像默认不带博通网卡驱动包bnxt_re

  • link
    lishuai
    Members 38 posts
    2026年7月7日 10:34 2026年7月7日 10:34
    link

    已经装过了,启动decode,在cuda graph阶段报错,报错如文件

    insert_drive_file
    decode日志.txt

    Text, 58.1 KB, uploaded by lishuai on 2026年7月7日.

  • link
    shuai_chen
    Members 650 posts
    2026年7月7日 10:40 2026年7月7日 10:40
    link

    尊敬的开发者您好,请完整描述您的部署过程,便于进一步定位问题

  • link
    lishuai
    Members 38 posts
    2026年7月7日 10:48 2026年7月7日 10:48
    link

    按照glmPD分离手册的步骤执行的,执行前容器中进行了网卡驱动的安装,安装了deepep,并且替换了mxshmem库和头文件。使用的镜像为sglang:0.5.10-maca.ai3.7.1.12-torch2.8-py310-ubuntu22.04-amd64

    prefill节点可以正常启动,prefill主节点正常回显 The server is fired up and ready to roll!

    但是启动decode节点出现上面decode日志中的报错,尝试关闭decode的cuda_graph还是不行

    image.png

    PNG, 62.3 KB, uploaded by lishuai on 2026年7月7日.

    image.png

    PNG, 18.4 KB, uploaded by lishuai on 2026年7月7日.

  • link
    shuai_chen
    Members 650 posts
    2026年7月7日 10:50 2026年7月7日 10:50
    link

    尊敬的开发者您好,请通过商务渠道获取博通驱动patch

  • link
    lishuai
    Members 38 posts
    2026年7月7日 10:53 2026年7月7日 10:53
    link

    你指的是图中的这个嗎

    image.png

    PNG, 8.0 KB, uploaded by lishuai on 2026年7月7日.

  • link
    shuai_chen
    Members 650 posts
    2026年7月7日 10:55 2026年7月7日 10:55
    link

    尊敬的开发者您好,请通过商务渠道咨询patch

arrow_upward Go to top
  • 沐曦开发者论坛
powered by misago