我在六机上进行glm5.1 PD分离操作,启动decode节点报错,报错内容如文件
我在六机上进行glm5.1 PD分离操作,启动decode节点报错,报错内容如文件
尊敬的开发者您好,请检查RDMA网络,RDMA网络异常
用的是博通的网卡,日志中的报错为:
ibgda_mlx5.cpp:2310: non-zero status: -2 mlx5_devices_init failed
→ mxshmem_ibgda_init failed
→ mxshmemi_transport_init failed
→ mxshmem_internal_init_thread failed
是不是和这个有关系,还是要升级网卡版本?
尊敬的开发者您好,请在容器中安装博通网卡驱动
博通网卡环境如图
是不是需要替换mxshmen算子?
尊敬的开发者您好,请在容器中安装博通网卡驱动
容器中的网卡环境如图
尊敬的开发者您好,请在容器中安装博通网卡驱动bnxt_re,镜像默认不带博通网卡驱动包bnxt_re
已经装过了,启动decode,在cuda graph阶段报错,报错如文件
尊敬的开发者您好,请完整描述您的部署过程,便于进一步定位问题
按照glmPD分离手册的步骤执行的,执行前容器中进行了网卡驱动的安装,安装了deepep,并且替换了mxshmem库和头文件。使用的镜像为sglang:0.5.10-maca.ai3.7.1.12-torch2.8-py310-ubuntu22.04-amd64
prefill节点可以正常启动,prefill主节点正常回显 The server is fired up and ready to roll!
但是启动decode节点出现上面decode日志中的报错,尝试关闭decode的cuda_graph还是不行
尊敬的开发者您好,请通过商务渠道获取博通驱动patch
你指的是图中的这个嗎
尊敬的开发者您好,请通过商务渠道咨询patch