4. 已知问题和使用限制
模块 |
问题和限制说明 |
|---|---|
MXMACA软件栈 |
多程序长时间并行执行,有概率会出现程序执行无响应问题 |
Flash Attention C++接口有优化,使用Flash Attention C++接口的应用需要继承新的接口,对2.23.0.x及以前版本不兼容 |
|
某些主板不支持atomic访问的部分功能 |
|
mx C/C++程序不支持在Ubuntu18.04系统编译运行 |
|
C550 OAM上部分算子需要设置 |
|
flash_attn特殊场景下有hang的现象 |
|
MC3-14011 UMD Perf Metrics kernel launch某些case会有一定性能下降 |
|
C588平台执行 simpleIPC case执行输出会有变化 |
|
mcFftXt接口暂未支持,请使用非Xt的接口替代 |
|
|
|
在一些特殊场景下可以设置 |
|
Geqrf某些case会有一定性能下降 |
|
|
|
C588 平台进行AI测试需配置sudo命令 |
|
使用SGLang出现问题时可尝试添加 |
|
C550平台 HSTU_attn 计算正确,但是部分随机数输入下精度略降 |
|
内核版本6.6.0及以上时多机使用需要联系技术支持工程师获取详细信息 |
|
模型推理和训练 |
在开启mxmaca graph的时候抓取torch profile会造成系统异常,需要配置如下环境变量规避该问题: |
Pytorch训练centernet_R18和Retinanet模型时,存在amp精度loss为NaN的情况 |
|
Pytorch训练多VF场景下偶发hang |
|
Pytorch训练学习率策略,推荐使用 |
|
GPU占用率低时受到其他硬件因素影响较大,在不同机器测试时易出现性能波动 |
|
Pytorch个别模型对CPU资源敏感易出现性能波动现象 |
|
Pytorch ssd模型多卡训练偶发loss为NaN |
|
Pytorch ARM环境下执行某些模型时,性能有一定概率出现一定波动 |
|
Pytorch Deeplabv3模型FP32精度单卡训练时,需要设置新的环境变量以避免loss为NaN |
|
对于LLM.PPL,不建议开启ACS,因为开启ACS可能会导致性能下降。如果必须开启ACS,需要关闭通信库PCIe复用功能,环境变量是 |
|
通讯库性能优化使用了更多显存,特殊情况下,可能导致显存不足 |
|
MC3-13800 VeRL部分模型训练提示flash_attn_3 backward pass is not yet implemented,解决办法: 在容器内卸载pip包flash_attn_3 |
|
MC3-13801 Megatron-LM部分模型训练提示flash_attn_3 backward pass is not yet implemented,解决办法: 在容器内卸载pip包flash_attn_3 |
|
VPU |
C500-21118 MCJPEG解码暂不支持444、422、gray、411、440格式jpeg文件 |
MCJPEG解码暂不支持444、422、gray、411、440格式jpeg文件 |
|
开启虚拟化多于1VF情形下,编码相关功能不可用 |
|
mx-smi |
个别机型执行 warm reset 会引发异常 |
CXL及相关子命令暂不支持 |
|
虚拟化 |
MC3-15912 C500系列宿主机透传8卡到虚拟机后,all-to-all-perf-single和reduce-scatter-perf通信原语的带宽性能不及宿主机 |
MC3-16548 C500系列 sgpu中timeslice的阈值区间更新为1ms-30ms |
|
MC3-16111 C500X宿主机透传8pf卡到虚拟机内部后,由于C500系列单机8卡拓扑没有适配mxmesh还不支持,测试DeepEP失败 |
|
MC3-15908 C600-U和C600系列所有卡透传到虚拟机透,并模拟宿主机numa和topo,MCCL部分通信原语性能对比宿主机不达标 |
|
MC3-12294 开启1VF后测试小模型Modelzoo1_classification_ox_resnet50和Modelzoo1_NLP_Transformer_ox_bert推理性能不达标,低于整卡的90% |
|
[MXC600系列] MC3-14528 全部GPU卡和CX7网卡透传到虚拟机内测试deepep low lantency不达标 |
|
mx-report |
Debian10、Alinux3、KeyrachOS5.8系统使用mx-report时会提示 |
mxvs |
sGPU开启后,mxvs ops在burst策略下不符合算力分配原则,fixed策略下设置1-2%的算力不符合算力分配原则 |
ETH |
MXC600系列opmi的smmaca模块对MCCL perf有一些影响 |
IREE |
MC3-13789部分示例运行会报错 |
TileLang |
在线安装tilelang 0.1.9时需要指定版本安装,如 pip install tilelang==0.1.9 apache-tvm-ffi==0.1.3.dev11 |
通信库 |
DeepEP internode 算法多机通信支持最大专家数为512 |
C588 OAM 上不指定卡序运行 mccl perf 会偶现掉卡,可以通过指定特定卡序 MACA_VISIBLE_DEVICES=0,1,2,3,6,5,4,7,10,9,8,11,14,15,12,13 规避 |
|
alltoall 和 gather perf 多次测试结果可能会有 15% 以内的波动 |
|
MC3-17008 C588 DEEPEP internode双机性能回退10% |
|
MC3-16504 C600-PL DEEPEP low_latency双机性回退10% |
|
MC3-15774 MCCL alltalld/alltallv原语测试偶现wrong计数 |
|
MC3-15890 MXC588 MXC600 MIXL benchmark ib场景 block>=2G时有带宽下降问题 |
|
ACL |
[MXC500系列] MC3-16288 mctlass性能部分case有性能回退现象 |
MC3-15921 torch2.13场景测试triton功能,profiler部分功能未适配 |
|
MC3-15894 torch2.13场景,McTlass模块,开启ccache,非首次构建时,构建产物会出现重复,导致执行报错 |
|
MC3-15887 torch2.13场景测试apex模块,profiler部分功能未适配,导致执行报错 |
|
[MXC600系列] MC3-15807 测试triton的功能torch2.4,torch2.8等场景出现OOM异常 |
|
[MXC600-U] MC3-15687 sage_attn模块的测试,未适配umd的返回arch,导致测试报错 |
|
MC3-15685 sage_attn模块的测试,test acceptance未适配sage api改动 ,导致测试报错 |
|
mx_tools |
MC3-15228 mx-diagease 多于8卡环境,diagease监控模式显示小部分出界,缩放可显示全部内容 |
MC3-13792 mx-diagease stess测试中概率出现power列提示失败 |
|
MC3-14419 mx-diagease diagese 监控模式并行拉起的xcoer进程,监控结束后未回收 |