MetaX-Tech Developer Forum 论坛首页
  • 沐曦开发者
search
Sign in
  • chevron_right Threads
  • label 产品&运维
  • label 解决中

关于vllm镜像是否支持卸载内存

WangQian
2026年10月9日
chat_bubble_outline 3
  • link
    WangQian
    Members 3 posts
    2026年10月9日 10:31 2026年10月9日 10:31
    link

    请问目前沐曦发布的vLLM镜像是否支持卸载内存,即英伟达的sleep mode模式,若不支持有什么替代方案嘛?

  • arrow_forward

    Thread has been moved from 公共.

    • By shuai_chen on 2026年10月9日 10:32.
  • link
    shuai_chen
    Members 949 posts
    2026年10月9日 10:32 2026年10月9日 10:32
    link

    尊敬的开发者您好,支持

  • link
    WangQian
    Members 3 posts
    2026年10月9日 10:34 2026年10月9日 10:34
    link

    能否提供一下相关命令?vllm版本是:0.27.0

  • link
    shuai_chen
    Members 949 posts
    2026年10月9日 10:39 2026年10月9日 10:39
    link

    尊敬的开发者您好,同vllm社区,参考docs.vllm.ai/en/v0.27.0/cli/serve/

arrow_upward Go to top
  • 沐曦开发者论坛
powered by misago