MetaX-Tech Developer Forum 论坛首页
  • 沐曦开发者
search
Sign in
  • chevron_right Threads
  • label type:需求/bug
  • label 已解决

沐曦 SGLang PD 分离专用镜像与普通 SGLang 镜像的区别

lishuai
2026年11月9日
chat_bubble_outline 8
  • link
    lishuai
    Members 61 posts
    2026年11月9日 13:40 2026年11月9日 13:40
    link

    目前在沐曦镜像仓库中看到两种 SGLang 镜像:

    1. 普通 SGLang 镜像
    2. SGLang:0.5.12
    3. MXMACA:3.8.2.7
    4. PyTorch:2.10

    5. GLM-5 PD 分离 RC4 镜像

    6. SGLang:0.5.12
    7. MXMACA:3.7.1.13
    8. PyTorch:2.8

    想请教一下,除了 PD 分离专用镜像中包含的部署脚本(如 Prefill、Decode、Gateway、Mooncake 相关脚本)以外,两种镜像在底层还有哪些区别?

    例如,PD 分离专用镜像是否对 SGLang 源码、Mooncake KV Cache 传输组件、DeepEP/MCCL 通信库或其他依赖进行了额外适配和修改?

    另外,普通 SGLang 镜像在补充相关依赖及配置后,是否也可以实现 PD 分离?还是必须使用沐曦提供的 PD 分离专用镜像?

    主要想了解 PD 分离能力对专用镜像的依赖程度,以及后续是否能够基于较新版本的 MXMACA 和 PyTorch 环境部署 PD 分离。

    感谢解答!

  • arrow_forward

    Thread has been moved from 公共.

    • By shuai_chen on 2026年11月9日 17:29.
  • link
    shuai_chen
    Members 1029 posts
    2026年11月9日 17:31 2026年11月9日 17:31
    link

    尊敬的开发者您好,PD分离专用镜像对SGLang 源码、Mooncake KV Cache 传输组件、DeepEP/MCCL 通信库或其他依赖进行了额外适配和修改。
    普通 SGLang 镜像在补充相关依赖及配置后,难以实现 PD 分离,依赖复杂。

  • link
    lishuai
    Members 61 posts
    2026年11月10日 09:40 2026年11月10日 09:40
    link

    那么mim镜像哪里获取呢,该mim镜像是否包含了对SGLang 源码、Mooncake KV Cache 传输组件、DeepEP/MCCL 通信库或其他依赖进行了额外适配和修改

    image.png

    PNG, 181.8 KB, uploaded by lishuai on 2026年11月10日.

  • link
    shuai_chen
    Members 1029 posts
    2026年11月10日 10:27 2026年11月10日 10:27
    link

    尊敬的开发者您好,请参考developer.metax-tech.com/llm-inference/sgldocs/latest/tutorials/models/DeepSeek-V4-Flash-0731/index.html

  • link
    lishuai
    Members 61 posts
    2026年11月10日 10:36 2026年11月10日 10:36
    link

    报502,无法拉取。另外如果做PD分离的话是推荐用mim的sglang镜像还是rc4的sglang镜像?

    image.png

    PNG, 38.7 KB, uploaded by lishuai on 2026年11月10日.

  • link
    shuai_chen
    Members 1029 posts
    2026年11月10日 10:47 2026年11月10日 10:47
    link

    尊敬的开发者您好,已通过个人主题提供镜像拉取链接

  • link
    lishuai
    Members 61 posts
    2026年11月10日 10:48 2026年11月10日 10:48
    link

    好的谢谢!另外如果做PD分离的话是推荐用mim的sglang镜像还是rc4的sglang镜像?

  • link
    shuai_chen
    Members 1029 posts
    2026年11月10日 10:49 2026年11月10日 10:49
    link

    尊敬的开发者您好,推荐MIM镜像

  • link
    lishuai
    Members 61 posts
    2026年11月10日 11:11 2026年11月10日 11:11
    link

    好的谢谢!

  • arrow_forward

    Thread has been moved from 解决中.

    • By shuai_chen on 2026年11月16日 10:28.
arrow_upward Go to top
  • 沐曦开发者论坛
powered by misago