当前发布的metax-vllm:0.28.0可以适配 DeepSeek-V4-Flash-0731-W8A8吗
当前发布的metax-vllm:0.28.0可以适配 DeepSeek-V4-Flash-0731-W8A8吗
尊敬的开发者您好,不适配,请参考developer.metax-tech.com/llm-inference/sgldocs/latest/getting_started/overview.html 使用sglang镜像
我看到官网上已更新DeepSeek‑V4‑Flash‑0731‑W8A8 基于 vLLM 的部署与验证步骤,想再确认一下。
developer.metax-tech.com/llm-inference/vllmdocs/latest/tutorials/models/DeepSeek-V4-Flash-0731/DeepSeek-V4-Flash-0731-W8A8/DeepSeek-V4-Flash-0731-W8A8.html
尊敬的开发者您好,请使用文档中定制vllm-metax镜像