3. 诊断模式
3.1. 诊断项目
诊断项目 |
内容 |
|---|---|
预检 |
检查主机的PCIe ACS/IOMMU/ASPM状态。 |
PCIe诊断 |
诊断设备PCIe链路的完整性和稳定性。 包含H2D单向带宽诊断(MB/s),D2H单向带宽诊断(MB/s),HD双向带宽诊断。 |
MetaXLink诊断 |
诊断设备MetaXLink链路的完整性和稳定性。 包含设备间单双向带宽诊断(MB/s)。 |
显存带宽诊断 |
诊断设备的显存带宽性能。 |
算力诊断 |
诊断设备的多种算力性能。 |
mccl诊断 |
诊断多种通信算子性能。 |
显存诊断 |
使用经典显存测试用例,从多维度诊断设备显存的完整性,稳定性和可靠性。 |
显存压力诊断 |
对显存进行长时间,高负载,可自定义测试模式的压力诊断。 |
GPU压力诊断 |
对GPU进行长时间,高负载的压力诊断。 |
眼图诊断 |
对PCIe和MetaXLink进行眼图诊断,验证信号质量和完整性。 |
vSwitch检查 |
检查vSwitch序列号配置是否正确。 |
PCIe atomic诊断 |
进行H2D,D2H,D2D方向的PCIe atomic测试,测试结果会存入 |
3.2. 诊断配置文件
执行以下命令,在当前目录生成默认配置文件 diagease-config.json,为后续诊断功能使用。
mx-diagease --generate-template
各个诊断项中的
toggle是其控制开关。PCIe
speed单位为GT/s,PCIe带宽和MetaXLink带宽单位为MB/s。内存诊断共有11个种类,
test_indexes中可指定诊断类别,默认11种都诊断。0:[Address test, walking 1 bit]
1:[Address test, own address]
2:[Moving inversions, ones&zeros]
3:[Moving inversions, 8 bit pattern]
4:[Moving inversions, random pattern]
5:[Block move, 64 moves]
6:[Moving inversions, 32 bit pattern]
7:[Random number sequence]
8:[Modulo 20, random pattern]
9:[Bit fade test, 2 patterns]
10:[Memory stress]
诊断类别的详细介绍可参见开发者社区 。
GPU Stress诊断中
runtime默认为120秒。Memory诊断中
mc_stress_cycles可用于设置循环次数,为0时关闭MC压测。
备注
配置文件中默认值仅供参考;用户必须根据实际情况修改配置文件进行诊断,PCIe 带宽与主机配置密切相关,需确认后再执行诊断。
生成的默认配置文件 diagease-config.json 示例如下:
{
"enable_gpu_persistence_mode": 1,
"gpu_num": 16,
"prerequisite": {
"iommu": "disable",
"aspm": "disable",
"acs": "disable"
},
"pcie": {
"toggle": 1,
"speed": 32,
"width": 16,
"raw_bw_h2d": 47000,
"raw_bw_d2h": 52000,
"raw_bw_h2d_d2h": 77000,
"mxlk_disabled_p2p_test": 0,
"raw_bw_uni_p2p": 36000,
"raw_bw_bi_p2p": 73000
},
"metaxlink": {
"toggle": 1,
"speed": 32,
"width": 8,
"raw_bw_uni_p2p": 24500,
"raw_bw_bi_p2p": 45000
},
"hbm_bw": {
"toggle": 1,
"bandwidth": 2300
},
"ops": {
"toggle": 0,
"int8": 760,
"bf16": 380,
"fp16_vector": 22,
"fp16_matrix": 380,
"fp32_vector": 22,
"tf32": 190
},
"mccl": {
"mccl_gpu_num": 16,
"toggle": 0,
"current_env_test": 1,
"mxlk_disabled_test": 0,
"all_reduce_perf": 0,
"all_gather_perf": 0,
"alltoall_perf": 0,
"broadcast_perf": 0,
"gather_perf": 0,
"reduce_perf": 0,
"reduce_scatter_perf": 0,
"scatter_perf": 0,
"sendrecv_perf": 0
},
"memorytest": {
"toggle": 0,
"test_indexes": [0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10],
"mc_stress_cycles": 20
},
"hbmstresstest": {
"toggle": 0,
"patterns" : ["0x00000000", "0xFFFFFFFF", "0x55555555", "0xAAAAAAAA", "random"],
"dataVerify" : true,
"pulse" : false,
"durationSeconds" : 3600
},
"stress": {
"toggle": 1,
"runtime(s)": 120,
"xcore_usage(%)": 95,
"board_power_usage(%)": 90,
"hotspot(C)": 95,
"cpu_stress_enable": 0,
"d2d_stress_enable": 0
},
"eye": {
"pcie": {
"toggle": 0,
"pass_threshold": 0.30,
"fail_threshold": 0.26,
"retry_count": 2
},
"mxlk": {
"toggle": 0,
"pass_threshold": 0.30,
"fail_threshold": 0.26,
"retry_count": 2
}
}
}
3.3. 诊断命令
mx-diagease [--configfile]
执行命令需要sudo权限。
执行以上命令,将输出所有沐曦设备预检,PCIe诊断,MetaXLink诊断,显存带宽诊断,GPU压力诊断,电源管理诊断的诊断信息。
若服务器没有诊断项对应配置,如服务器上没有MetaXLink,该诊断项对应结果默认显示 SKIP。
可在mx-diagease运行目录下 mxdiag-log 文件夹中查看日志。
目前使用默认配置文件进行诊断,时间在25-40分钟左右。如用户使用自定义配置文件(基于以上 diagease-config.json 文件修改诊断项目,诊断时间和诊断目标等),可用 --configfile 传入。不传则系统按照程序默认配置(其中带宽相关诊断项无目标值,仅确保连通性)进行检测。
输出结果示例
监测结果若有一项显示FAIL,则最终结果为FAIL。
若结果为FAIL,需要用户进一步确认或者联系售后。
显示如下所示:
MetaX Diagnostic tool Version: X.X.XX
Server manufacturer : XXX
Server model : XXX
Server bios version : XXX
Server bios date : XXX
CPU model : XXX
Product : MXC500
KMD version : X.X.X
Bios version : X.X.X.X
Maca version : X.X.X.X
VR0 version : X.X.X.X
VR1 version : X.X.X.X
......
+------+------+------+-------+---------+-------+--------+
| Dev | hbm | MC | pcie | stress | mxlk | power |
+------+------+------+-------+---------+-------+--------+
| 0 | PASS | PASS | PASS | FAIL | SKIP | PASS |
+------+------+------+-------+---------+-------+--------+
##############################
# #
# Final Result: FAIL #
# #
##############################