3. 诊断模式

3.1. 诊断项目

表 3.1 mx-diagease诊断项目

诊断项目

内容

预检

检查主机的PCIe ACS/IOMMU/ASPM状态。

PCIe诊断

诊断设备PCIe链路的完整性和稳定性。 包含H2D单向带宽诊断(MB/s),D2H单向带宽诊断(MB/s),HD双向带宽诊断。

MetaXLink诊断

诊断设备MetaXLink链路的完整性和稳定性。 包含设备间单双向带宽诊断(MB/s)。

显存带宽诊断

诊断设备的显存带宽性能。

算力诊断

诊断设备的多种算力性能。

mccl诊断

诊断多种通信算子性能。

显存诊断

使用经典显存测试用例,从多维度诊断设备显存的完整性,稳定性和可靠性。

显存压力诊断

对显存进行长时间,高负载,可自定义测试模式的压力诊断。

GPU压力诊断

对GPU进行长时间,高负载的压力诊断。

眼图诊断

对PCIe和MetaXLink进行眼图诊断,验证信号质量和完整性。

vSwitch检查

检查vSwitch序列号配置是否正确。

PCIe atomic诊断

进行H2D,D2H,D2D方向的PCIe atomic测试,测试结果会存入 diagease_pcie_atomic_test.csv 中,其中 P 代表通过; F 代表失败。

3.2. 诊断配置文件

执行以下命令,在当前目录生成默认配置文件 diagease-config.json,为后续诊断功能使用。

mx-diagease --generate-template
  • 各个诊断项中的 toggle 是其控制开关。

  • PCIe speed 单位为GT/s,PCIe带宽和MetaXLink带宽单位为MB/s。

  • 内存诊断共有11个种类, test_indexes 中可指定诊断类别,默认11种都诊断。

    • 0:[Address test, walking 1 bit]

    • 1:[Address test, own address]

    • 2:[Moving inversions, ones&zeros]

    • 3:[Moving inversions, 8 bit pattern]

    • 4:[Moving inversions, random pattern]

    • 5:[Block move, 64 moves]

    • 6:[Moving inversions, 32 bit pattern]

    • 7:[Random number sequence]

    • 8:[Modulo 20, random pattern]

    • 9:[Bit fade test, 2 patterns]

    • 10:[Memory stress]

    诊断类别的详细介绍可参见开发者社区 。

  • GPU Stress诊断中 runtime 默认为120秒。

  • Memory诊断中 mc_stress_cycles 可用于设置循环次数,为 0 时关闭MC压测。

备注

  • 配置文件中默认值仅供参考;用户必须根据实际情况修改配置文件进行诊断,PCIe 带宽与主机配置密切相关,需确认后再执行诊断。

生成的默认配置文件 diagease-config.json 示例如下:

{
   "enable_gpu_persistence_mode": 1,
   "gpu_num": 16,
   "prerequisite": {
      "iommu": "disable",
      "aspm": "disable",
      "acs": "disable"
   },
   "pcie": {
      "toggle": 1,
      "speed": 32,
      "width": 16,
      "raw_bw_h2d": 47000,
      "raw_bw_d2h": 52000,
      "raw_bw_h2d_d2h": 77000,
      "mxlk_disabled_p2p_test": 0,
      "raw_bw_uni_p2p": 36000,
      "raw_bw_bi_p2p": 73000
   },
   "metaxlink": {
      "toggle": 1,
      "speed": 32,
      "width": 8,
      "raw_bw_uni_p2p": 24500,
      "raw_bw_bi_p2p": 45000
   },
   "hbm_bw": {
      "toggle": 1,
      "bandwidth": 2300
   },
   "ops": {
      "toggle": 0,
      "int8": 760,
      "bf16": 380,
      "fp16_vector": 22,
      "fp16_matrix": 380,
      "fp32_vector": 22,
      "tf32": 190
   },
   "mccl": {
      "mccl_gpu_num": 16,
      "toggle": 0,
      "current_env_test": 1,
      "mxlk_disabled_test": 0,
      "all_reduce_perf": 0,
      "all_gather_perf": 0,
      "alltoall_perf": 0,
      "broadcast_perf": 0,
      "gather_perf": 0,
      "reduce_perf": 0,
      "reduce_scatter_perf": 0,
      "scatter_perf": 0,
      "sendrecv_perf": 0
   },
   "memorytest": {
      "toggle": 0,
      "test_indexes": [0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10],
      "mc_stress_cycles": 20
   },
   "hbmstresstest": {
      "toggle": 0,
      "patterns" : ["0x00000000", "0xFFFFFFFF", "0x55555555", "0xAAAAAAAA", "random"],
      "dataVerify" : true,
      "pulse" : false,
      "durationSeconds" : 3600
   },
   "stress": {
      "toggle": 1,
      "runtime(s)": 120,
      "xcore_usage(%)": 95,
      "board_power_usage(%)": 90,
      "hotspot(C)": 95,
      "cpu_stress_enable": 0,
      "d2d_stress_enable": 0
   },
   "eye": {
      "pcie": {
            "toggle": 0,
            "pass_threshold": 0.30,
            "fail_threshold": 0.26,
            "retry_count": 2
      },
      "mxlk": {
            "toggle": 0,
            "pass_threshold": 0.30,
            "fail_threshold": 0.26,
            "retry_count": 2
      }
   }
}

3.3. 诊断命令

mx-diagease [--configfile]

执行命令需要sudo权限。

执行以上命令,将输出所有沐曦设备预检,PCIe诊断,MetaXLink诊断,显存带宽诊断,GPU压力诊断,电源管理诊断的诊断信息。

若服务器没有诊断项对应配置,如服务器上没有MetaXLink,该诊断项对应结果默认显示 SKIP。

可在mx-diagease运行目录下 mxdiag-log 文件夹中查看日志。

目前使用默认配置文件进行诊断,时间在25-40分钟左右。如用户使用自定义配置文件(基于以上 diagease-config.json 文件修改诊断项目,诊断时间和诊断目标等),可用 --configfile 传入。不传则系统按照程序默认配置(其中带宽相关诊断项无目标值,仅确保连通性)进行检测。

输出结果示例

监测结果若有一项显示FAIL,则最终结果为FAIL。

若结果为FAIL,需要用户进一步确认或者联系售后。

显示如下所示:

MetaX Diagnostic tool Version: X.X.XX
Server manufacturer        : XXX
Server model               : XXX
Server bios version        : XXX
Server bios date           : XXX
CPU model                  : XXX

Product                    : MXC500
KMD version                : X.X.X
Bios version               : X.X.X.X
Maca version               : X.X.X.X
VR0  version               : X.X.X.X
VR1  version               : X.X.X.X

......

+------+------+------+-------+---------+-------+--------+
| Dev  | hbm  |  MC  | pcie  | stress  | mxlk  | power  |
+------+------+------+-------+---------+-------+--------+
| 0    | PASS | PASS | PASS  | FAIL    | SKIP  | PASS   |
+------+------+------+-------+---------+-------+--------+
##############################
#                            #
#     Final Result: FAIL     #
#                            #
##############################