3. 已知问题和使用限制

模块	问题和限制说明
Paddle	个别模型偶现训练报错
	个别模型存在loss为NaN及loss不收敛问题
	MXC600系列部分模型训练性能偏低
Paddle-metax	MXC500系列在曦云C550 OAM平台的个别测试，对比曦云C500平台，性能超出正常范围
	MXC500系列特定平台上个别模型偶现训练报错
	MXC600系列部分模型训练性能偏低
vLLM-metax	kimi模型性能有稍微下降
	特定平台上个别测试性能有浮动
	多卡模型 `--gpu-memory-utilization` 设置 `0.9`，多机模型 `--gpu-memory-utilization` 设置 `0.85`，默认是 `0.95`
	GLM-4.6V_W8A8模型测试时，需要更新transformers版本，大于5.0.0rc0
	ERNIE-4.5-VL-28B-A3B-Thinking模型测试时，需要下载decord库，内网环境测试还需要下载字体库
	MXC600系列不支持模型FP16测试
	MXC600系列lm_eval 如果遇到大模型超时错误，增加timeout=10800
	N300不支持GLM-5-W8A8、DeepSeek-R1-W8A8、Kimi-K2.5等大尺寸模型测试
	GLM-5-W8A8模型测试时，需要更新transformers版本5.3.0
	部分模型精度有波动
	需要使用特定Pytorch，请参考沐曦开发者社区配套推荐或联系技术支持工程师获取详细信息
modelzoo.llm.ppl	MXC500系列baichuan2-13B tps在八卡环境上需要加临时环境变量，四卡环境正常
ColossalAI	MXC500系列如果出现OOM：在物理机上执行 `sudo modprobe -r metax && sudo modprobe metax xcore_page_size=9` 在运行命令前执行 `export MALLOC_THRESHOLD=99`
BitsAndBytes	部分矩阵性能较低
modelzoo.cnn.training	MXC500系列GPU占用率低时受到其他硬件因素影响较大，在不同机器测试时易出现性能波动
	MXC500系列对CPU资源敏感的模型，容易出现性能波动
	MXC500系列Pytorch训练多VF场景下偶发hang
	MXC500系列Pytorch训练学习率策略，推荐使用 `--auto-scale-lr` 自适应学习率
	MXC500系列部分模型在不同 torch 版本性能存在差异
	MXC500系列个别模型多卡对单卡性能提升的线性度不足
	MXC500系列CenterNet模型FP32精度训练时，设置特定环境变量时可能导致精度问题
	MXC500系列centernet_R18和Retinanet模型训练时，存在amp精度loss为NaN的情况
	MXC500系列ssd模型多卡训练偶发loss为NaN
	MXC500系列Deeplabv3模型FP32精度单卡训练时，需要设置新的环境变量以避免loss为NaN
	MXC500系列TF32精度训练时，设置 `MCDNN_NOT_CVT_TF32_ROUND=ON` 部分模型性能可能有提升
	MXC500系列部分模型性能有轻微下降
	MXC600系列部分新增模型偶现loss:nan现象
	MXC500和MXC600系列hrnet模型训练时，存在amp精度loss为NaN的情况
	detr_r50模型在N300环境上训练时，amp精度训练性能下降
TensorFlow2	keras部分模型训练性能、精度偏低 keras部分模型训练性能、精度不稳定 keras升级到2.13后优化还未完成，训练性能有下降 facenet存在Loss为NaN的情况
modelzoo.llm.transformers	MXC500系列部分模型个别测试，性能有下降
	MXC500系列C550 OAM平台个别测试，对比C500平台，性能稍微下降
	N300上Baichuan2-13B-Chat模型个别测试可能出现显存不足异常退出，可以增加环境变量： `PYTORCH_CUDA_ALLOC_CONF=expandable_segments:True` 参数
XTuner	MXC500系列双机mixtral-8*7b训练偶现显存不足异常退出，配置可以改为 `zero3_offload`，但性能会有所下降
XTuner	MXC500系列如需解决 XTuner 源码安装相关问题，请联系技术支持工程师获取详细协助
Megatron-LM	MXC500系列多机模型运行遇到 `Gloo connectFullMesh failed` 时，需要增加以下2个环境变量： `export MCCL_SOCKET_IFNAME` = 多机模型训练使用IP对应的ifname `export GLOO_SOCKET_IFNAME` = 多机模型训练使用IP对应的ifname 说明：此问题属于PyTorch原生问题https://pytorch.org/docs/stable/distributed.html#common-environment-variables
	MXC500系列C588平台 megatron Llama2-70B模型需增加如下环境变量: `export MACA_VISIBLE_DEVICES = 0,1,2,3,6,5,4,7,10,9,8,11,14,15,12,13` `export MCCL_ENABLE_FC = 0`
	MXC500系列特定平台不支持SDMA，qwen3_32b_16gpu模型需去掉 pretrain 脚本中的 `--use-sdma-grad-comm` 参数
	MXC500系列特定平台llama3_70b_32gpu需用2机16gpu运行模型，不支持4机
VeRL	MXC500系列对于5.13以下的内核版本，无root权限的普通用户， TTM对xtt有不超过系统内存1/2的限制。可通过 `/sys/devices/virtual/drm/ttm/memory_accounting/kernel/available_memory` 接口调整限制值。受此限制，无root权限的普通用户使用超过1/2的系统内存时，使用smi工具查询gpu usage可能会显示N/A
	MXC500系列VeRL 所有模型不支持在C588平台运行
	MXC500系列VeRL 3.5.3.3使用限制：部分模型tgs_actor性能下降，因为框架开源基础版本升级，actor与rollout在同一个GPU运行，性能下降符合预期。 qwen2.5_7b_ppo_8gpu qwen3_8b_8gpu模型训练过程中因框架开源基础版本升级，HBM size使用有增加，会在分配HBM时报错 `failed to create memory handle`，模型可以训练完成。 2机模型deepseek_r1_distill_qwen_32b_16gpu tgs_e2e性能存在-5%范围内的波动。
LMDeploy	MXC500系列不支持LMDeploy的兼容适配
SGLang	MXC500系列部分模型部分切分方式较上个版本性能有下降，可尝试添加 `--disable-shared-experts-fusion` 参数进行一定提升
	MXC500系列部分模型部分切分方式使用期间或出现server hang，可尝试设置如下环境变量使用。 `export MACA_QUEUE_SCHEDULE_POLICY=0` 或 `export MACA_GRAPH_LAUNCH_MODE=5`
	部分模型部分切分方式C588性能不及预期
	部分模型或由于通信限制C550性能会低于C500
	MXC500系列部分模型偶现启动失败或日志异常，可尝试重新启动或调低 `--mem-frac` 使用
	MXC500系列Kimi-K2 W8A8模型在C588平台可尝试使用PP4TP8切分
	MXC500系列Qwen3.5系列和GLM-5.0-W8A8模型使用需要更新transformers版本至5.3.0
	MXC500系列如果在Arm或海光CPU上遇到性能下降较多，可以尝试使用环境变量 `export MACA_MEMCPY_MODE=0` 进行一定提升
	MXC500系列需要使用配套版本，请参考沐曦开发者社区配套推荐或联系技术支持工程师获取详细信息
	MXC600系列部分模型部分切分偶现hang
	MXC600系列个别机型测试会掉卡
	MXC600系列部分模型偶现启动失败，可尝试重新启动
	MXC600系列需要使用特定SDK和Pytorch，请参考沐曦开发者社区配套推荐或联系技术支持工程师获取详细信息
Deepspeed	C550上Qwen2.5-VL-7B SFT训练性能偏低，可以尝试使用环境变量 `export PYTORCH_CONFIG_STREAM_POOLS=16,16,16` 提升性能
Deepspeed	MXC500系列QwQ-32B/Qwen2-72B/Qwen2.5-VL-32B lora训练需要先做操作 `insmod meatx.ko pri_mem_sz=5`
modelzoo.llm.diffusers	MXC500系列部分模型性能偏低
modelzoo.llm.diffusers	MXC600系列部分模型推理性能偏低 N300上 FLUX.1-dev/FLUX.1-schnell 1920分辨率不支持 Hunyuanvideo1.5模型性能不稳定
modelzoo.cnn.inference	MXC500系列部分模型性能偏低
modelzoo.cnn.inference	MXC600系列部分模型推理性能、精度偏低
mcoplib	MXC500系列topk算子异常，影响范围极小
mmcv	test_chamfer_distance_npu_dynamic_shape_shape0-dtype0-cuda 偶现报错
ms-swift	MXC500系列多机模型运行时，需要根据实际环境修改 `GLOO_SOCKET_IFNAME` 和 `MCCL_IB_HCA` 这2个环境变量
ms-swift	MXC500系列需要使用特定SDK，请参考沐曦开发者社区配套推荐或联系技术支持工程师获取详细信息