请教下官方大佬下面的问题:
1)目前有4张沐曦C500,如果部署Qwen3.5-397B-A17B-W8A8,有没有什么推荐的方案。
2)在最终输出的精度可以达到非量化版本的百分之多少?目前主要使用Qwen3.5的多模态进行图片信息提取以及格式化输出(JSON)。
3)安装4张沐曦C500,对服务器的CPU核心数、内存大小、磁盘大小有什么样的需求。
4)4张沐曦C500可以支持的TPS可以达到多少。
感谢官方大佬指导迷津。
请教下官方大佬下面的问题:
1)目前有4张沐曦C500,如果部署Qwen3.5-397B-A17B-W8A8,有没有什么推荐的方案。
2)在最终输出的精度可以达到非量化版本的百分之多少?目前主要使用Qwen3.5的多模态进行图片信息提取以及格式化输出(JSON)。
3)安装4张沐曦C500,对服务器的CPU核心数、内存大小、磁盘大小有什么样的需求。
4)4张沐曦C500可以支持的TPS可以达到多少。
感谢官方大佬指导迷津。
尊敬的开发者您好,由于显存容量不够,四张C500无法部署
那支持部署 qwen3-Vl-8b-instruct 这个小参数的数据模型么?
尊敬的开发者您好,支持部署。vllm服务启动命令请参考vllm社区相关启动命令。
可以用官方的Docker镜像么?还是说得自己安装vllm
镜像有说明文档没呀大佬