我们是 dsh。希望在单节点 8 张 C550 上直接运行 DeepSeek-V4-Flash 剪枝为 128 专家的 checkpoint,保留 packed MXFP4 专家权重,而不是将专家权重解量化成 BF16 或换成其他 W4A8 量化模型。请问目前是否有官方支持的镜像、版本组合和启动方法?
一、环境
1. GPU:8 × MetaX C550,64 GiB/卡。
2. OS:Linux 5.15.0-119-generic,x86_64。
3. mx-smi:2.3.4;Kernel Mode Driver:3.9.25;宿主 MACA SDK:3.8.2.6。
4. 容器由 Kubernetes / Arena 调度运行,使用设备插件,不在宿主直接 docker run。
5. 服务器厂家、CPU 虚拟化是否启用及 docker info:暂未确认,需要时可补充。
二、模型格式与已观察现象
- DeepSeek-V4-Flash REAP128,config 的 expert_dtype=fp4、专家数 128;safetensors 中专家权重为 packed I8,scale 为 F8_E8M0。完整模型文件和哈希已校验。
- 我们的历史旧版 MACA SGLang 环境加载该 packed FP4 时,走 FP8 MoE 路径出现 AssertionError: Hidden size mismatch;旧版 MXFP4 注册路径未启用。上述是旧环境的历史现象,不代表新版必然失败。
- 此次曾提交 deepseek-v4-flash-0731-w8a8 / sglang0.5.14 / maca.ai3.8.2.121 的 MIM 镜像,但因发现该旧版路径不匹配而在拉取阶段停止;没有声称该镜像实测加载失败。
- 同一 REAP128 的 BF16 运行包已通过 vLLM-MACA TP8 推理和压测,因此硬件及 BF16 服务已验证;这并不证明 MXFP4 路径可用。
- 对一个本地缓存的新镜像 sglang:dsv41-src-0.5.21-maca3.8.3.6 做静态源码检查,看到 FP4 expert 加载与 deep_gemm masked grouped BF16×FP4 路径;没有在目标 C550 或上述宿主驱动进行该镜像端到端实测,也没有确认官方支持状态。
三、请教
1. 当前官方 SGLang 或 vLLM-MetaX 是否支持上述 DeepSeek V4 packed E2M1 FP4 + UE8M0 scale 的专家权重,且支持 128 专家剪枝 checkpoint?支持的是原生 FP4 算子还是加载时解量化?
2. 如支持,请提供可获取的完整镜像地址/标签、最低驱动和 MACA 版本、模型配置要求,以及单节点 8 卡可复现启动参数(包括 TP/EP/DP、attention 和 MoE backend)。宿主驱动 3.9.25 是否可用?
3. 如不支持,是否有计划支持该格式,或有保持量化优势的官方转换方案?文档中的 0731-W4A8 是否与这种 MXFP4 格式兼容,还是必须转换/重新量化?
如需进一步诊断,我们可以补充脱敏后的 config、权重张量形状、完整日志和环境信息。感谢。