感谢回复,已提issue: github.com/MetaX-MACA/vLLM-metax/issues/295
问题
N260 缺少 Qwen3.5-122B MoE 的 fused MoE tuning config
环境
- 4× MetaX N260, KMD 3.6.11, MACA SDK 3.5.3.20
- vllm-metax 0.19.0, PyTorch 2.8
- 模型:ModelScope 官方 metax-tech/Qwen3.5-122B-A10B-W8A8
现象
启动日志中报:
Using default MoE config. Performance might be sub-optimal!
Config file not found at /opt/conda/lib/python3.12/site-packages/vllm_metax/model_executor/layers/fused_moe/configs/H=3072/H=3072,E=256,N=256,device_name=MXN260,dtype=int8_w8a8.json
同时 disable_custom_all_reduce=True 恒为 true,无法关闭。
GPU 功耗始终约 50W(TDP 225W 的 22%),计算单元大量空转。
已确认
- MCTLASS ScaledMM 已生效:Selected MctlassScaledMMLinearKernel for CompressedTensorsW8A8Int8
- MACA 四个环境变量(SMALL_PAGESIZE、MCTLASS_FUSED_MOE、MCTLASS_PYTHON_API、DIRECT_DISPATCH)均已设置
- 当前模型参数:H=3072, E=256, N=256, dtype=int8_w8a8
期望
1. 能否提供 N260 的 fused MoE tuning config(H=3072, E=256, N=256, int8_w8a8),或指导如何自行生成?
2. disable_custom_all_reduce=True 在 N260 TP=4 场景下是否有办法启用优化?
3. N260 上 Qwen3.5-122B 的正常性能基线是多少?