MetaX-Tech Developer Forum 论坛首页
  • 沐曦开发者
search
Sign in

shmily_zsz

  • Members
  • Joined 2026年6月18日
  • message 帖子
  • forum 主题
  • favorite 关注者
  • favorite_border Follows
  • person_outline 详细信息

shmily_zsz has started 1 thread.

  • See post chevron_right
    shmily_zsz
    Members
    4张沐曦C500部署Qwen3.5-397B-A17B-W8A8咨询 已解决 2026年6月18日 16:55

    请教下官方大佬下面的问题:
    1)目前有4张沐曦C500,如果部署Qwen3.5-397B-A17B-W8A8,有没有什么推荐的方案。
    2)在最终输出的精度可以达到非量化版本的百分之多少?目前主要使用Qwen3.5的多模态进行图片信息提取以及格式化输出(JSON)。
    3)安装4张沐曦C500,对服务器的CPU核心数、内存大小、磁盘大小有什么样的需求。
    4)4张沐曦C500可以支持的TPS可以达到多少。
    感谢官方大佬指导迷津。

  • 沐曦开发者论坛
powered by misago