MetaX-Tech Developer Forum 论坛首页
  • 沐曦开发者
search
Sign in
  • chevron_right Threads
  • label 产品&运维
  • label 已解决

问题:N260 缺少 Qwen3.5-122B MoE 的 fused MoE tuning config

qiudan_123
2026年6月22日
chat_bubble_outline 2
  • link
    qiudan_123
    Members 2 posts
    2026年6月22日 11:15 2026年6月22日 11:15
    link

    问题
    N260 缺少 Qwen3.5-122B MoE 的 fused MoE tuning config

    环境
    - 4× MetaX N260, KMD 3.6.11, MACA SDK 3.5.3.20
    - vllm-metax 0.19.0, PyTorch 2.8
    - 模型:ModelScope 官方 metax-tech/Qwen3.5-122B-A10B-W8A8

    现象
    启动日志中报:
    Using default MoE config. Performance might be sub-optimal!
    Config file not found at /opt/conda/lib/python3.12/site-packages/vllm_metax/model_executor/layers/fused_moe/configs/H=3072/H=3072,E=256,N=256,device_name=MXN260,dtype=int8_w8a8.json
    同时 disable_custom_all_reduce=True 恒为 true,无法关闭。

    GPU 功耗始终约 50W(TDP 225W 的 22%),计算单元大量空转。

    已确认
    - MCTLASS ScaledMM 已生效:Selected MctlassScaledMMLinearKernel for CompressedTensorsW8A8Int8
    - MACA 四个环境变量(SMALL_PAGESIZE、MCTLASS_FUSED_MOE、MCTLASS_PYTHON_API、DIRECT_DISPATCH)均已设置
    - 当前模型参数:H=3072, E=256, N=256, dtype=int8_w8a8

    期望
    1. 能否提供 N260 的 fused MoE tuning config(H=3072, E=256, N=256, int8_w8a8),或指导如何自行生成?
    2. disable_custom_all_reduce=True 在 N260 TP=4 场景下是否有办法启用优化?
    3. N260 上 Qwen3.5-122B 的正常性能基线是多少?

  • arrow_forward

    Thread has been moved from 公共.

    • By shuai_chen on 2026年6月22日 11:27.
  • link
    shuai_chen
    Members 650 posts
    2026年6月22日 16:52 2026年6月22日 16:52
    link

    尊敬的开发者您好,感谢您的反馈,已反馈至相关研发。同时可以在github.com/MetaX-MACA/vLLM-metax 提issue,加速问题处理。

  • link
    qiudan_123
    Members 2 posts
    2026年6月22日 17:16 2026年6月22日 17:16
    link

    感谢回复,已提issue: github.com/MetaX-MACA/vLLM-metax/issues/295

  • arrow_forward

    Thread has been moved from 解决中.

    • By shuai_chen on 2026年7月2日 11:16.
arrow_upward Go to top
  • 沐曦开发者论坛
powered by misago