我想问下C500pcle版只支持4卡互联,那我装8卡能不能部署deepseekv4啊
我想问下C500pcle版只支持4卡互联,那我装8卡能不能部署deepseekv4啊
现已有几台装载4卡沐曦C500的gpu服务器,主要想了解一下以下几个问题:
1.同一台服务器上可以装不同型号的gpu卡吗,比如C500和C600,C550是否可以混插
2.不同服务器上可以装不同型号的gpu卡吗,比如一台服务器上都是C500,一台服务器上都是C600,2台服务可以集群统一管理使用吗
日志就是这个:Failed to find candidate: Failed to parse model qwen3-asr-1.7b hyperparameters:后面没有了
使用的gpustack部署的,参见附件
服务器厂家:浪潮NF5468H7
GPU型号:沐曦C500
操作系统内核版本:Kylin Linux Advanced Server V10 (Halberd) 4.19.90-89.11.v2401.ky10.x86_64
是否开启虚拟化:否
mx-smi回显:参见附件
docker info回显:参见附件
镜像版本:vllm-metax:0.22.0-maca.ai3.8.0.5-torch2.10-py310-kylinv11-amd64
问题现象:
Failed to find candidate: Failed to parse model qwen3-asr-1.7b hyperparameters:
沐曦C500部署qwen3-asr-1.7b,报Failed to find candidate: Failed to parse model qwen3-asr-1.7b hyperparameters:
使用的是developer.metax-tech.com/softnova/docker?chip_name=%E6%9B%A6%E4%BA%91C500%E7%B3%BB%E5%88%97&package_name=vllm-metax:0.22.0-maca.ai3.8.0.5-torch2.10-py310-kylinv11-amd64的推理框架