Posts | WangQian | 沐曦开发者论坛

See post chevron_right

WangQian
Members

关于vllm镜像是否支持卸载内存解决中 2026年10月9日 10:34

能否提供一下相关命令？vllm版本是：0.27.0
See post chevron_right

WangQian
Members

关于vllm镜像是否支持卸载内存解决中 2026年10月9日 10:31

请问目前沐曦发布的vLLM镜像是否支持卸载内存，即英伟达的sleep mode模式，若不支持有什么替代方案嘛？
See post chevron_right

WangQian
Members

【求助】沐曦8卡C500单机跑Deepseek量化版，当上下文长度设置为400K时，1-2人同时使用就会崩溃报错。已解决 2026年6月2日 14:45

DeepSeek-V4量化版：
metax-tech/DeepSeek-V4-Flash-FlexSMQ-AWQ-W8A8
modelscope.cn/models/metax-tech/DeepSeek-V4-Flash-FlexSMQ-AWQ-W8A8