MetaX-Tech Developer Forum 论坛首页
  • 沐曦开发者
search
Sign in

qiudan_123

  • Members
  • Joined 2026年6月22日
  • message 帖子
  • forum 主题
  • favorite 关注者
  • favorite_border Follows
  • person_outline 详细信息

qiudan_123 has posted 2 messages.

  • See post chevron_right
    qiudan_123
    Members
    问题:N260 缺少 Qwen3.5-122B MoE 的 fused MoE tuning config 已解决 2026年6月22日 17:16

    感谢回复,已提issue: github.com/MetaX-MACA/vLLM-metax/issues/295

  • See post chevron_right
    qiudan_123
    Members
    问题:N260 缺少 Qwen3.5-122B MoE 的 fused MoE tuning config 已解决 2026年6月22日 11:15

    问题
    N260 缺少 Qwen3.5-122B MoE 的 fused MoE tuning config

    环境
    - 4× MetaX N260, KMD 3.6.11, MACA SDK 3.5.3.20
    - vllm-metax 0.19.0, PyTorch 2.8
    - 模型:ModelScope 官方 metax-tech/Qwen3.5-122B-A10B-W8A8

    现象
    启动日志中报:
    Using default MoE config. Performance might be sub-optimal!
    Config file not found at /opt/conda/lib/python3.12/site-packages/vllm_metax/model_executor/layers/fused_moe/configs/H=3072/H=3072,E=256,N=256,device_name=MXN260,dtype=int8_w8a8.json
    同时 disable_custom_all_reduce=True 恒为 true,无法关闭。

    GPU 功耗始终约 50W(TDP 225W 的 22%),计算单元大量空转。

    已确认
    - MCTLASS ScaledMM 已生效:Selected MctlassScaledMMLinearKernel for CompressedTensorsW8A8Int8
    - MACA 四个环境变量(SMALL_PAGESIZE、MCTLASS_FUSED_MOE、MCTLASS_PYTHON_API、DIRECT_DISPATCH)均已设置
    - 当前模型参数:H=3072, E=256, N=256, dtype=int8_w8a8

    期望
    1. 能否提供 N260 的 fused MoE tuning config(H=3072, E=256, N=256, int8_w8a8),或指导如何自行生成?
    2. disable_custom_all_reduce=True 在 N260 TP=4 场景下是否有办法启用优化?
    3. N260 上 Qwen3.5-122B 的正常性能基线是多少?

  • 沐曦开发者论坛
powered by misago