2. 配置说明

mxshmem 支持两种内存注册方式:

  • DMA-BUF

  • Peer Memory

客户可以通过环境变量 MXSHMEM_IB_DISABLE_DMABUF 手动指定内存注册方式:

表 2.1 MXSHMEM_IB_DISABLE_DMABUF环境变量配置

环境变量配置

内存注册方式

MXSHMEM_IB_DISABLE_DMABUF=0

启用 DMA-BUF

MXSHMEM_IB_DISABLE_DMABUF=1

禁用 DMA-BUF,使用 Peer Memory

实际支持及默认使用哪种方式,取决于 MXMACA SDK Release 版本、Linux Kernel 版本和 MOFED 版本。

2.1. 不同 MXMACA SDK Release版本的支持情况

2.1.1. MXMACA SDK Release版本 < 3.8.3

  • 仅支持 Peer Memory,不支持 DMA-BUF。

  • 当 Linux Kernel 版本 ≥ 6.8 时,由于操作系统内核仅支持 DMA-BUF 方式,DeepEP Low Latency 场景将无法正常运行。

2.1.2. 3.8.3 ≤ MXMACA SDK Release版本 ≤ 3.10.0

该版本范围内,mxshmem 同时支持 DMA-BUF 和 Peer Memory,默认使用 DMA-BUF。 客户也可以通过环境变量 MXSHMEM_IB_DISABLE_DMABUF=1 手动切换为 Peer Memory。

表 2.2 不同MOFED版本的内存注册方式

Linux Kernel 版本

MOFED 版本

默认内存注册方式

使用说明

≥ 5.16

不限

DMA-BUF

默认使用 DMA-BUF

< 5.16

以下指定版本

DMA-BUF

默认使用 DMA-BUF

< 5.16

其他版本

DMA-BUF 不可用

需设置 MXSHMEM_IB_DISABLE_DMABUF=1,使用 Peer Memory

其中,Linux Kernel版本 < 5.16 时,支持 DMA-BUF 的 MOFED 版本包括: 23.10-6.1.6.1-2023 LTS U6、23.10-7.1.8.0-2023 LTS U7、24.10-4.1.4.0-2024 LTS U4、24.10-5.1.6.1-2024 LTS U5 及以上版本。

备注

对于 Linux Kernel版本 < 5.16 且使用其他 MOFED 版本的环境,需要手动设置 MXSHMEM_IB_DISABLE_DMABUF=1, 否则可能因 DMA-BUF 不支持而导致测试失败。

2.1.3. MXMACA SDK Release版本 ≥ 3.10.1

从该版本开始,mxshmem 仅根据 Linux Kernel 版本选择内存注册方式,不依赖 MOFED 版本进行判断,并且调整了内存注册方式的选择策略,自适应 Linux Kernel 的能力。 用户无需改变 MXSHMEM_IB_DISABLE_DMABUF 默认值。

表 2.3 根据 Linux Kernel 版本选择内存注册方式

Linux Kernel 版本

内存注册方式

环境变量配置

≥ 5.16

DMA-BUF (默认)

默认配置即可

< 5.16

Peer Memory

默认配置即可,自动切换到 Peer Memory

2.2. 客户使用建议

客户在运行 DeepEP Low Latency 测试前,建议按照以下顺序确认:

  1. 确认当前使用的 MXMACA SDK Release 版本。

  2. 确认服务器 Linux Kernel 版本。

  3. 当 MXMACA SDK Release的版本为 3.8.3 ~ 3.10.0,Linux Kernel的版本 < 5.16 时,还需确认 MOFED 版本。

  4. 根据上述版本对应关系,确认内存注册方式:

    1. 当 MXMACA SDK Release版本 < 3.10.1 时,根据上述使用说明设置 MXSHMEM_IB_DISABLE_DMABUF 环境变量。

    2. 当 MXMACA SDK Release版本 ≥ 3.10.1 时,使用 MXSHMEM_IB_DISABLE_DMABUF 缺省配置即可。