一、软硬件信息
- 服务器厂家:新华三(H3C)R5500 G6
- 沐曦GPU型号:METAX C500 64G × 8卡 × 4台机器(共32卡)
- 操作系统内核版本:Linux metax-host-041 5.15.0-119-generic #129-Ubuntu SMP x86_64
- 是否开启CPU虚拟化:否
- mx-smi回显:(贴一下
mx-smi输出) - docker info回显:(贴一下
docker info输出) - 镜像版本:lmcache 0.4.4+maca3.7.1.2.dsv4
- 启动容器命令:(贴你们的启动命令)
- 容器内执行命令:
python3 -c "from lmcache.experimental.p2p import P2PBackend; print('P2P supported')"
二、问题现象
我们正在部署 4 机 32 卡的多节点推理集群,希望使用 LMCache 的 P2P 多节点 KV Cache 共享功能,将各节点 CPU 内存组成统一缓存池以提升跨实例缓存命中率。
环境已满足 P2P 所需的全部硬件条件:
- RDMA 网卡:Broadcom BCM957608,4 张 RoCE v2 网卡均为 PORT_ACTIVE 状态
- 节点间 RDMA 带宽实测:单 QP 约 21 GB/s,4 QP 约 42 GB/s,物理链路 400 Gbps
- NIXL 已安装:
import nixl正常,nixl_agent等核心接口可用
但执行以下命令时报错:
python3 -c "from lmcache.experimental.p2p import P2PBackend; print('P2P supported')"
报错信息:
ModuleNotFoundError: No module named 'lmcache.experimental'
当前 lmcache 可用模块如下(pkgutil.iter_modules 输出):
c_ops, cli, connections, integration, lmcache_fs,
lmcache_redis, logging, native_storage_ops,
non_cuda_equivalents, observability, tools,
usage_context, utils, v1
可以看到 experimental 模块完全缺失。
咨询问题:
lmcache 0.4.4+maca版本是否计划支持lmcache.experimental.p2pP2P 多节点 CPU 共享功能?- 如有支持计划,预计什么版本/时间可用?是否有内测版本可以提前试用?
- 当前 NIXL 已安装但无版本号(
import nixl正常,nixl.__version__报 AttributeError),该版本是否与 P2P 功能兼容? - 在 P2P 功能就绪前,官方是否推荐使用 Redis 后端(
lmcache_redis)作为跨节点共享缓存的替代方案?有无针对沐曦平台的最佳实践文档?