MetaX-Tech Developer Forum 论坛首页
  • 沐曦开发者
search
Sign in
  • chevron_right Threads
  • label 产品&运维
  • label 已解决

LMCache 0.4.4+maca 版本是否支持 P2P 多节点 KV Cache 共享?NIXL 已就绪但 lmcache.experimental 模块缺失

habibi
2026年6月11日
chat_bubble_outline 5
  • link
    habibi
    Members 5 posts
    2026年6月11日 10:40 2026年6月11日 10:40
    link

    一、软硬件信息

    1. 服务器厂家:新华三(H3C)R5500 G6
    2. 沐曦GPU型号:METAX C500 64G × 8卡 × 4台机器(共32卡)
    3. 操作系统内核版本:Linux metax-host-041 5.15.0-119-generic #129-Ubuntu SMP x86_64
    4. 是否开启CPU虚拟化:否
    5. mx-smi回显:(贴一下 mx-smi 输出)
    6. docker info回显:(贴一下 docker info 输出)
    7. 镜像版本:lmcache 0.4.4+maca3.7.1.2.dsv4
    8. 启动容器命令:(贴你们的启动命令)
    9. 容器内执行命令:
    python3 -c "from lmcache.experimental.p2p import P2PBackend; print('P2P supported')"
    

    二、问题现象

    我们正在部署 4 机 32 卡的多节点推理集群,希望使用 LMCache 的 P2P 多节点 KV Cache 共享功能,将各节点 CPU 内存组成统一缓存池以提升跨实例缓存命中率。

    环境已满足 P2P 所需的全部硬件条件:

    • RDMA 网卡:Broadcom BCM957608,4 张 RoCE v2 网卡均为 PORT_ACTIVE 状态
    • 节点间 RDMA 带宽实测:单 QP 约 21 GB/s,4 QP 约 42 GB/s,物理链路 400 Gbps
    • NIXL 已安装:import nixl 正常,nixl_agent 等核心接口可用

    但执行以下命令时报错:

    python3 -c "from lmcache.experimental.p2p import P2PBackend; print('P2P supported')"
    

    报错信息:

    ModuleNotFoundError: No module named 'lmcache.experimental'
    

    当前 lmcache 可用模块如下(pkgutil.iter_modules 输出):

    c_ops, cli, connections, integration, lmcache_fs,
    lmcache_redis, logging, native_storage_ops,
    non_cuda_equivalents, observability, tools,
    usage_context, utils, v1
    

    可以看到 experimental 模块完全缺失。

    咨询问题:

    1. lmcache 0.4.4+maca 版本是否计划支持 lmcache.experimental.p2p P2P 多节点 CPU 共享功能?
    2. 如有支持计划,预计什么版本/时间可用?是否有内测版本可以提前试用?
    3. 当前 NIXL 已安装但无版本号(import nixl 正常,nixl.__version__ 报 AttributeError),该版本是否与 P2P 功能兼容?
    4. 在 P2P 功能就绪前,官方是否推荐使用 Redis 后端(lmcache_redis)作为跨节点共享缓存的替代方案?有无针对沐曦平台的最佳实践文档?
  • arrow_forward

    Thread has been moved from 公共.

    • By shuai_chen on 2026年6月11日 10:53.
  • link
    shuai_chen
    Members 650 posts
    2026年6月11日 11:03 2026年6月11日 11:03
    link

    尊敬的开发者您好,请提供完整的镜像名称

  • link
    habibi
    Members 5 posts
    2026年6月11日 16:15 2026年6月11日 16:15
    link

    mx-devops-acr-cn-shanghai.cr.volces.com/pub-registry1/ai-opentest/release/maca/vllm-metax:0.21.0-maca.ai3.7.1.2-dsv4-torch2.8-py310-ubuntu22.04-amd64

  • link
    shuai_chen
    Members 650 posts
    2026年6月11日 16:44 2026年6月11日 16:44
    link

    尊敬的开发者您好,此镜像属于POC镜像,请使用开发者社区正式镜像。

  • link
    habibi
    Members 5 posts
    2026年6月11日 16:52 2026年6月11日 16:52
    link

    请问哪个镜像可以支持lmcache.experimental.p2p 这个功能?

  • link
    shuai_chen
    Members 650 posts
    2026年6月11日 16:59 2026年6月11日 16:59
    link

    尊敬的开发者您好,感谢您的反馈。此模块是实验性功能,正在评估中。若需加速支持,请通过POC镜像获取渠道通过商务接口人申请。

  • arrow_forward

    Thread has been moved from 解决中.

    • By shuai_chen on 2026年6月17日 13:51.
arrow_upward Go to top
  • 沐曦开发者论坛
powered by misago