MetaX-Tech Developer Forum 论坛首页
  • 沐曦开发者
search
Sign in

Echo2005

  • Members
  • Joined 2026年9月15日
  • message 帖子
  • forum 主题
  • favorite 关注者
  • favorite_border Follows
  • person_outline 详细信息

Echo2005 has started 2 threads.

  • See post chevron_right
    Echo2005
    Members
    GLM-5.3 / GLM-5.3-Flash 在 C550 上的支持计划和当前问题 已解决 2026年9月15日 17:42

    尊敬的沐曦技术团队您好:

    我们正在 C550 上评估 GLM-5.3 系列模型的部署,想了解支持计划并反馈当前遇到的问题。

    【环境】8x C550 64GB,驱动3.9.25,MACA 3.8.2.6,镜像 modelzoo.llm.vllm:1.0.3(vLLM 0.25.0)

    【想了解】
    1. GLM-5.3 和 GLM-5.3-Flash 的 vLLM 适配计划?当前镜像是否已支持?
    2. 是否有对应的 Day0 推理镜像或预览版?
    3. GLM-5.3-Flash 的 MoE 架构在 C550 上的推荐配置(TP大小、专家并行等)?
    4. 是否提供 W8A8/AWQ 量化版本?

    【当前遇到的问题】
    1. 大模型部署时显存紧张,6卡可用场景(384GB)下大模型放不下,需要量化版本
    2. 部分新发布模型(如 DeepSeek-V4.1-Flash 的 CED 新架构)当前镜像不支持,想了解新架构适配的一般周期
    3. 工具调用解析(xgrammar)在当前镜像中有兼容性问题,需要手动升级依赖包

    感谢沐曦团队的支持!期待 GLM-5.3 系列的适配进展。

  • See post chevron_right
    Echo2005
    Members
    DeepSeek-V4.1-Flash C550 适配计划 已解决 2026年9月15日 17:40

    尊敬的沐曦技术团队您好:

    我们正在评估 DeepSeek-V4.1-Flash(9月10日发布)在 C550 上的部署可行性,请教以下问题:

    【环境】8x C550 64GB,驱动3.9.25,MACA 3.8.2.6,镜像 modelzoo.llm.vllm:1.0.3(vLLM 0.25.0)

    【问题】当前镜像支持 DeepseekV4(上一代),但不包含 DeepseekV41ForCausalLM(V4.1的CED新架构)。

    【请教】
    1. V4.1-Flash 的 vLLM/SGLang 适配计划?预计何时发布预览镜像?
    2. 是否有内部预览版可提前测试?
    3. 仅6卡可用(384GB),475GB模型放不下,是否会提供 W8A8/AWQ 量化版?量化工具是否支持 V4.1 新架构(含Engram层)?
    4. V4.1 多模态能力(ViT)是否在适配计划内?

    感谢支持!期待 V4.1 适配进展。

  • 沐曦开发者论坛
powered by misago