尊敬的沐曦技术团队您好:
我们正在 C550 上评估 GLM-5.3 系列模型的部署,想了解支持计划并反馈当前遇到的问题。
【环境】8x C550 64GB,驱动3.9.25,MACA 3.8.2.6,镜像 modelzoo.llm.vllm:1.0.3(vLLM 0.25.0)
【想了解】
1. GLM-5.3 和 GLM-5.3-Flash 的 vLLM 适配计划?当前镜像是否已支持?
2. 是否有对应的 Day0 推理镜像或预览版?
3. GLM-5.3-Flash 的 MoE 架构在 C550 上的推荐配置(TP大小、专家并行等)?
4. 是否提供 W8A8/AWQ 量化版本?
【当前遇到的问题】
1. 大模型部署时显存紧张,6卡可用场景(384GB)下大模型放不下,需要量化版本
2. 部分新发布模型(如 DeepSeek-V4.1-Flash 的 CED 新架构)当前镜像不支持,想了解新架构适配的一般周期
3. 工具调用解析(xgrammar)在当前镜像中有兼容性问题,需要手动升级依赖包
感谢沐曦团队的支持!期待 GLM-5.3 系列的适配进展。