请问下 modelscope.cn/models/metax-tech/DeepSeek-V4-Flash-FlexSMQ-AWQ-W8A8 这个量化模型在8卡沐曦C500上是否能够部署,如果要部署应使用哪个镜像,使用什么参数启动?
服务器:单机双路CPU,配备 8张沐曦(MetaX)C500-P GPU,单卡显存 64GB(总计512GB)。
驱动版本:Kernel Driver 3.3.12,MACA 3.2.1.10,BIOS 1.29.1.0。
@shuai_chen
请问下 modelscope.cn/models/metax-tech/DeepSeek-V4-Flash-FlexSMQ-AWQ-W8A8 这个量化模型在8卡沐曦C500上是否能够部署,如果要部署应使用哪个镜像,使用什么参数启动?
服务器:单机双路CPU,配备 8张沐曦(MetaX)C500-P GPU,单卡显存 64GB(总计512GB)。
驱动版本:Kernel Driver 3.3.12,MACA 3.2.1.10,BIOS 1.29.1.0。
@shuai_chen
请问下 modelscope.cn/models/metax-tech/DeepSeek-V4-Flash-FlexSMQ-AWQ-W8A8 这个量化模型在8卡沐曦C500上是否能够部署,如果要部署应使用哪个镜像,使用什么参数启动?
服务器:单机双路CPU,配备 8张沐曦(MetaX)C500-P GPU,单卡显存 64GB(总计512GB)。
驱动版本:Kernel Driver 3.3.12,MACA 3.2.1.10,BIOS 1.29.1.0。