3. 已知问题和使用限制

模块

问题和限制说明

Paddle-maca

个别模型偶现训练报错

个别模型存在loss为NaN及loss不收敛问题

vLLM

部分DeepSeek模型、部分Qwen3模型的个别测试，性能有稍微下降

曦云C550 OAM平台的个别测试，性能低于曦云C500平台

N260部分模型个别测试，性能低于预期值

部分模型精度数据有波动

glm4v_9b模型需要用V0模式获取性能数据，增加环境变量 VLLM_USE_V1=0

在Arm平台获取性能数据，增加环境变量 MACA_MEMCPY_MODE=0

DeepSeek-V2-236B、DeepSeek-V3-BF16_W8A8、DeepSeek-V3-BF16、模型获取性能数据时， 需要增加环境变量 MACA_PRIORITY_QUEUE_POLICY=0x4A1

modelzoo.llm.ppl

baichuan2-13B tps在八卡环境上需要加临时环境变量，四卡环境正常

modelzoo.cnn.inference

部分模型8卡性能偏低

ColossalAI

如果出现OOM：

  1. 在物理机上执行 sudo modprobe -r metax && sudo modprobe metax xcore_page_size=9

  2. 在运行命令前执行 export MALLOC_THRESHOLD=99

BitsAndBytes

部分矩阵性能较低

个别矩阵性能不稳定

modelzoo.cnn.training

GPU占用率低时受到其他硬件因素影响较大，在不同机器测试时易出现性能波动

个别对CPU资源敏感的模型，容易出现性能波动

Pytorch训练多VF场景下偶发hang

Pytorch训练学习率策略，推荐使用 --auto-scale-lr 自适应学习率

部分模型在不同 torch 版本性能存在差异

个别模型多卡对单卡性能提升的线性度不足

CenterNet模型FP32精度训练时，设置特定环境变量时可能导致精度问题

centernet_R18和Retinanet模型训练时，存在amp精度loss为NaN的情况

ssd模型多卡训练偶发loss为NaN

Deeplabv3模型FP32精度单卡训练时，需要设置新的环境变量以避免loss为NaN

TF32精度训练时，设置 MCDNN_NOT_CVT_TF32_ROUND=ON 部分模型性能可能有提升

部分模型性能有轻微下降

TensorFlow2

keras部分模型训练性能、精度偏低

keras部分模型训练性能、精度不稳定

facenet模型训练性能偏低

facenet模型在Arm环境中训练存在依赖安装异常的情况

modelzoo.llm.transformers

部分模型个别测试，性能有下降

XTuner

双机mixtral-8*7b训练偶现显存不足异常退出，配置可以改为 zero3_offload，但性能会有所下降

如需解决 XTuner 源码安装相关问题，请联系技术支持工程师获取详细协助

Megatron-LM

多机模型运行遇到 Gloo connectFullMesh failed 时，需要增加以下2个环境变量：

export MCCL_SOCKET_IFNAME = 多机模型训练使用IP对应的ifname

export GLOO_SOCKET_IFNAME = 多机模型训练使用IP对应的ifname

说明：此问题属于PyTorch原生问题https://pytorch.org/docs/stable/distributed.html#common-environment-variables

C588 megatron所有模型需增删改如下环境变量:

export GPUS_PER_NODE = 16

export MACA_VISIBLE_DEVICES = 0,1,2,3,6,5,4,7,10,9,8,11,14,15,12,13

C588 不支持SDMA, qwen3_32b_16gpu模型需去掉 pretrain 脚本中的 --use-sdma-grad-comm 参数

C588 llama3_70b_32gpu需用2机16gpu运行模型，不支持4机

VeRL

对于5.13以下的内核版本，无root权限的普通用户， TTM对xtt有不超过系统内存1/2的限制。

可通过 /sys/devices/virtual/drm/ttm/memory_accounting/kernel/available_memory 接口调整限制值。

受此限制，无root权限的普通用户使用超过1/2的系统内存时，使用smi工具查询gpu usage可能会显示N/A

LMDeploy

不支持LMDeploy的兼容适配

SGLang

DeepSeek-R1 W8A8个别测试性能会有下降，若出现hang可使用如下环境变量重新启动，但性能会有一定程度下降：

export MACA_SMALL_PAGESIZE_ENABLE=1

export TRITON_ENABLE_MACA_OPT_MOVE_DOT_OPERANDS_OUT_LOOP=1

export TRITON_ENABLE_MACA_CHAIN_DOT_OPT=1

export MACA_QUEUE_SCHEDULE_POLICY=1

Qwen3-30B-A3B BF16/W8A8精度，C500性能较C550有下降

Kimi-K2模型偶现启动失败

Arm环境多机模型启动失败

如果在Arm或海光CPU上遇到性能下降较多，可以尝试使用环境变量 export MACA_MEMCPY_MODE=0 进行一定提升

Deepspeed

C86上Qwen2.5-14B Lora训练报错

Internlm

环境内MXMACA版本为2.29.0.x时需要设置 export MACA_MPS_MODE=1