一、软硬件信息
1. 服务器厂家:KunLun G5580X , CPU: Kunpeng 5250
2. 沐曦GPU型号:GPU卡-Metax N260 GPU-64GB
3. 操作系统内核版本:麒麟v10 ,内核版本 4.19
4. 是否开启CPU虚拟化:未开启
5. mx-smi回显:开启
6. docker info回显:开启
7. 镜像版本:暂时没有要求
8. 启动容器命令:暂时没有要求
9. 容器内执行命令:暂时没有要求
二、问题现象
只需要一个基础vllm 镜像,能运行qwen3.5及以上的多模态大模型。gitee没有对应的下载链接。