MetaX-Tech Developer Forum 论坛首页
  • 沐曦开发者
search
Sign in
  • chevron_right Threads
  • label 产品&运维
  • label 已解决

DeepSeek-V4-Flash-0731-W8A8问题

lishuai
2026年9月14日
chat_bubble_outline 3
  • link
    lishuai
    Members 54 posts
    2026年9月14日 15:31 2026年9月14日 15:31
    link

    镜像:
    vllm-metax:0.25.0-maca.ai3.8.2.108-torch2.10-py310-kylinv11-amd64

    模型:
    DeepSeek-V4-Flash-0731-W8A8

    配置:
    TP=8
    Expert Parallel enabled
    max_num_seqs=8
    max_num_batched_tokens=8192

    现象:
    默认 CUDA Graph 模式在 capture_model/_capture_cudagraphs 阶段,
    MacaGemmMoe 内核触发 Xnack Error/ATU Fault 和 mcErrorIllegalAddress。

    临时规避:
    加入 --enforce-eager 后模型启动、普通对话及结构化工具调用均正常。

    如果后续必须追求 CUDA Graph 性能,是不是要等新的镜像更新还是有别的方式可以解决?

  • arrow_forward

    Thread has been moved from 产品&运维.

    • By shuai_chen on 2026年9月14日 15:50.
  • link
    shuai_chen
    Members 949 posts
    2026年9月14日 15:51 2026年9月14日 15:51
    link

    尊敬的开发者您好,vLLM-Metax 0.25.0不支持DeepSeek-V4-Flash-0731-W8A8,等待后续镜像更新

  • link
    lishuai
    Members 54 posts
    2026年9月14日 15:53 2026年9月14日 15:53
    link

    但是现在的情况是用该镜像可以正常启动并调用(只是不能启动图捕获阶段),你的意思是完全支持要等新的镜像更新是吗

  • link
    shuai_chen
    Members 949 posts
    2026年9月14日 17:01 2026年9月14日 17:01
    link

    尊敬的开发者您好,等待后续镜像更新

  • arrow_forward

    Thread has been moved from 解决中.

    • By shuai_chen on 2026年9月21日 10:16.
arrow_upward Go to top
  • 沐曦开发者论坛
powered by misago