2. 配置说明
mxshmem 支持两种内存注册方式:
DMA-BUF
Peer Memory
客户可以通过环境变量 MXSHMEM_IB_DISABLE_DMABUF 手动指定内存注册方式:
环境变量配置 |
内存注册方式 |
|---|---|
|
启用 DMA-BUF |
|
禁用 DMA-BUF,使用 Peer Memory |
实际支持及默认使用哪种方式,取决于 MXMACA SDK Release 版本、Linux Kernel 版本和 MOFED 版本。
2.1. 不同 MXMACA SDK Release版本的支持情况
2.1.1. MXMACA SDK Release版本 < 3.8.3
仅支持 Peer Memory,不支持 DMA-BUF。
当 Linux Kernel 版本 ≥ 6.8 时,由于操作系统内核仅支持 DMA-BUF 方式,DeepEP Low Latency 场景将无法正常运行。
2.1.2. 3.8.3 ≤ MXMACA SDK Release版本 ≤ 3.10.0
该版本范围内,mxshmem 同时支持 DMA-BUF 和 Peer Memory,默认使用 DMA-BUF。
客户也可以通过环境变量 MXSHMEM_IB_DISABLE_DMABUF=1 手动切换为 Peer Memory。
Linux Kernel 版本 |
MOFED 版本 |
默认内存注册方式 |
使用说明 |
|---|---|---|---|
≥ 5.16 |
不限 |
DMA-BUF |
默认使用 DMA-BUF |
< 5.16 |
以下指定版本 |
DMA-BUF |
默认使用 DMA-BUF |
< 5.16 |
其他版本 |
DMA-BUF 不可用 |
需设置 |
其中,Linux Kernel版本 < 5.16 时,支持 DMA-BUF 的 MOFED 版本包括: 23.10-6.1.6.1-2023 LTS U6、23.10-7.1.8.0-2023 LTS U7、24.10-4.1.4.0-2024 LTS U4、24.10-5.1.6.1-2024 LTS U5 及以上版本。
备注
对于 Linux Kernel版本 < 5.16 且使用其他 MOFED 版本的环境,需要手动设置 MXSHMEM_IB_DISABLE_DMABUF=1,
否则可能因 DMA-BUF 不支持而导致测试失败。
2.1.3. MXMACA SDK Release版本 ≥ 3.10.1
从该版本开始,mxshmem 仅根据 Linux Kernel 版本选择内存注册方式,不依赖 MOFED 版本进行判断,并且调整了内存注册方式的选择策略,自适应 Linux Kernel 的能力。
用户无需改变 MXSHMEM_IB_DISABLE_DMABUF 默认值。
Linux Kernel 版本 |
内存注册方式 |
环境变量配置 |
|---|---|---|
≥ 5.16 |
DMA-BUF (默认) |
默认配置即可 |
< 5.16 |
Peer Memory |
默认配置即可,自动切换到 Peer Memory |
2.2. 客户使用建议
客户在运行 DeepEP Low Latency 测试前,建议按照以下顺序确认:
确认当前使用的 MXMACA SDK Release 版本。
确认服务器 Linux Kernel 版本。
当 MXMACA SDK Release的版本为 3.8.3 ~ 3.10.0,Linux Kernel的版本 < 5.16 时,还需确认 MOFED 版本。
根据上述版本对应关系,确认内存注册方式:
当 MXMACA SDK Release版本 < 3.10.1 时,根据上述使用说明设置
MXSHMEM_IB_DISABLE_DMABUF环境变量。当 MXMACA SDK Release版本 ≥ 3.10.1 时,使用
MXSHMEM_IB_DISABLE_DMABUF缺省配置即可。