沐曦C500 卡使用最新版本的SDK3.7.1版本容器镜像无论是sglang还是vllm 引擎启动大模型都非常吃内存。只运行32B大模型宿主机128G的内存都会报内存溢出无法启动服务。尤其是SGLang 对内存的消耗更高。
之前发布的帖子让通过降级sdk到3.5版本才解决问题。
原贴地址：developer.metax-tech.com/forum/t/sglang-duo-qia-bing-xing-qi-dong-da-mo-xing-fu-wu-bu-guan-mo-xing-da-xiao-duo-xiao-du-bao-nei-cun-yi-chu/617/#post-2966
2026年7月10日
1
-
-
- By shuai_chen on 2026年7月10日 15:12.
-
尊敬的开发者您好，感谢您的反馈。请先降级到3.5版本解决。