3. 已知问题和使用限制

模块

问题和限制说明

Paddle

MC3-9711: MXC600系列部分模型训练性能偏低

Paddle-metax

MC3-5564: MXC500系列在曦云C550 OAM平台的个别测试，对比曦云C500平台，性能超出正常范围

MC3-10850: MXC500系列ARM平台上个别模型偶现训练报错

MC3-9544: MXC600系列部分模型训练性能偏低

vLLM-metax

C600U Deepseek V4 Pro精度有波动

modelzoo.llm.ppl

MXC500系列baichuan2-13B tps在八卡环境上需要加临时环境变量，四卡环境正常

ColossalAI

MXC500系列如果出现OOM：

  1. 在物理机上执行 sudo modprobe -r metax && sudo modprobe metax xcore_page_size=9

  2. 在运行命令前执行 export MALLOC_THRESHOLD=99

BitsAndBytes

部分矩阵性能较低

modelzoo.cnn.training

MXC500系列GPU占用率低时受到其他硬件因素影响较大，在不同机器测试时易出现性能波动

MXC500系列对CPU资源敏感的模型，容易出现性能波动

MXC500系列Pytorch训练多VF场景下偶发hang

MXC500系列Pytorch训练学习率策略，推荐使用 --auto-scale-lr 自适应学习率

MXC500系列部分模型在不同 torch 版本性能存在差异

MXC500系列个别模型多卡对单卡性能提升的线性度不足

MXC500系列CenterNet模型FP32精度训练时，设置特定环境变量时可能导致精度问题

MXC500系列centernet_R18和Retinanet模型训练时，存在amp精度loss为NaN的情况

MXC500系列ssd模型多卡训练偶发loss为NaN

MXC500系列Deeplabv3模型FP32精度单卡训练时，需要设置新的环境变量以避免loss为NaN

MXC500系列TF32精度训练时，设置 MCDNN_NOT_CVT_TF32_ROUND=ON 部分模型性能可能有提升

MC3-14399 C600-U Top10 模型性能调优，部分模型未达标

MXC500和MXC600系列hrnet模型训练时，存在amp精度loss为NaN的情况

MC3-14837/14828 部分模型训练性能有下降

TensorFlow2

MC3-15259/14212/14072 部分模型训练性能有下降

MC3-14211/14097 部分GPU在执行facenet多卡训练dmesg会出现error信息,但不影响程序运行

modelzoo.llm.transformers

MXC500系列部分模型个别测试，性能有下降

MXC500系列C550 OAM平台个别测试，对比C500平台，性能稍微下降

N300上Baichuan2-13B-Chat模型个别测试可能出现显存不足异常退出，可以增加环境变量：

PYTORCH_CUDA_ALLOC_CONF=expandable_segments:True 参数

XTuner

MXC500系列双机mixtral-8*7b训练偶现显存不足异常退出，配置可以改为 zero3_offload，但性能会有所下降

MXC500系列如需解决 XTuner 源码安装相关问题，请联系技术支持工程师获取详细协助

Megatron-LM

MXC500系列多机模型运行遇到 Gloo connectFullMesh failed 时，需要增加以下2个环境变量：

export MCCL_SOCKET_IFNAME = 多机模型训练使用IP对应的ifname

export GLOO_SOCKET_IFNAME = 多机模型训练使用IP对应的ifname

说明：此问题属于PyTorch原生问题https://pytorch.org/docs/stable/distributed.html#common-environment-variables

3.7.0.9 版本 Deepseek-V3 模型因版本升级性能有-5%左右性能下降，符合预期

VeRL

MXC500系列对于5.13以下的内核版本，无root权限的普通用户， TTM对xtt有不超过系统内存1/2的限制。

可通过 /sys/devices/virtual/drm/ttm/memory_accounting/kernel/available_memory 接口调整限制值。

受此限制，无root权限的普通用户使用超过1/2的系统内存时，使用smi工具查询gpu usage可能会显示N/A

MXC500系列VeRL 所有模型不支持在C588和C600平台运行

MXC500系列VeRL 3.5.3.3使用限制：

  1. 部分模型tgs_actor性能下降，因为框架开源基础版本升级，actor与rollout在同一个GPU运行，性能下降符合预期。

  2. qwen2.5_7b_ppo_8gpu qwen3_8b_8gpu模型训练过程中因框架开源基础版本升级，HBM size使用有增加， 会在分配HBM时报错 failed to create memory handle，模型可以训练完成。

  3. 2机模型deepseek_r1_distill_qwen_32b_16gpu tgs_e2e性能存在-5%范围内的波动。

VeRL 3.7.1.9使用限制：

部分模型tgs_e2e,tgs_gen,tgs_actor性能有+-5%波动，框架开源基础版本升级，符合预期。

LMDeploy

MXC500系列不支持LMDeploy的兼容适配

SGLang

MXC500系列部分模型部分切分方式较上个版本性能有下降，可尝试添加 --disable-shared-experts-fusion 参数进行一定提升

MXC500系列部分模型部分切分方式使用期间或出现server hang，可尝试设置如下环境变量使用。

export MACA_QUEUE_SCHEDULE_POLICY=0 或 export MACA_GRAPH_LAUNCH_MODE=5

部分模型部分切分方式C588性能不及预期

部分模型或由于通信限制C550性能会低于C500

MXC500系列部分模型偶现启动失败或日志异常，可尝试重新启动或调低 --mem-frac 使用

MXC500系列Kimi-K2 W8A8模型在C588平台可尝试使用PP4TP8切分

MXC500系列Kimi-K2.6-W8A8模型个别参数下存在性能下降

MXC500系列DeepSeek-V4-Pro-W8A8模型启动失败

MXC500系列如果在Arm或海光CPU上遇到性能下降较多，可以尝试使用环境变量 export MACA_MEMCPY_MODE=0 进行一定提升

内核版本6.6.0及以上时多机使用需要联系技术支持工程师获取详细信息

MXC600系列个别模型偶发加载模型超时

部分模型部分切分偶现hang

MXC600系列个别机型测试会掉卡

MXC600系列部分模型偶现启动失败，可尝试重新启动

MXC600系列个别模型个别切分精度测试存在问题

MXC600系列个别模型性能有小幅下降

Deepspeed

C550上Qwen2.5-VL-7B SFT训练性能偏低，可以尝试使用环境变量 export PYTORCH_CONFIG_STREAM_POOLS=16,16,16 提升性能

MXC500系列QwQ-32B/Qwen2-72B/Qwen2.5-VL-32B lora训练需要先做操作 insmod meatx.ko pri_mem_sz=5

modelzoo.llm.diffusers

MXC500系列部分模型性能偏低

MXC600系列部分模型推理性能偏低 N300上 FLUX.1-dev/FLUX.1-schnell 1920分辨率不支持 Hunyuanvideo1.5模型性能不稳定

modelzoo.cnn.inference

MXC500系列Speech-Transformer量化模型推理异常

MXC600系列部分模型推理性能、精度偏低

mcoplib

MXC500系列topk算子异常，影响范围极小

mmcv

test_chamfer_distance_npu_dynamic_shape_shape0-dtype0-cuda 偶现报错

ms-swift

MXC500系列多机模型运行时，需要根据实际环境修改 GLOO_SOCKET_IFNAME 和 MCCL_IB_HCA 这2个环境变量

MXC500系列需要使用特定pytorch，请参考沐曦开发者社区配套推荐或联系技术支持工程师获取详细信息

MC3-15419 C600-U部分模型性能不符合预期