请问目前沐曦发布的vLLM镜像是否支持卸载内存,即英伟达的sleep mode模式,若不支持有什么替代方案嘛?
Thread has been moved from 公共.
尊敬的开发者您好,支持
能否提供一下相关命令?vllm版本是:0.27.0
尊敬的开发者您好,同vllm社区,参考docs.vllm.ai/en/v0.27.0/cli/serve/