请教下官方大佬下面的问题:
1)目前有4张沐曦C500,如果部署Qwen3.5-397B-A17B-W8A8,有没有什么推荐的方案。
2)在最终输出的精度可以达到非量化版本的百分之多少?目前主要使用Qwen3.5的多模态进行图片信息提取以及格式化输出(JSON)。
3)安装4张沐曦C500,对服务器的CPU核心数、内存大小、磁盘大小有什么样的需求。
4)4张沐曦C500可以支持的TPS可以达到多少。
感谢官方大佬指导迷津。
请教下官方大佬下面的问题:
1)目前有4张沐曦C500,如果部署Qwen3.5-397B-A17B-W8A8,有没有什么推荐的方案。
2)在最终输出的精度可以达到非量化版本的百分之多少?目前主要使用Qwen3.5的多模态进行图片信息提取以及格式化输出(JSON)。
3)安装4张沐曦C500,对服务器的CPU核心数、内存大小、磁盘大小有什么样的需求。
4)4张沐曦C500可以支持的TPS可以达到多少。
感谢官方大佬指导迷津。