MetaX-Tech Developer Forum 论坛首页
  • 沐曦开发者
search
Sign in

WangQian

  • Members
  • Joined 2026年5月27日
  • message 帖子
  • forum 主题
  • favorite 关注者
  • favorite_border Follows
  • person_outline 详细信息

WangQian has started 2 threads.

  • See post chevron_right
    WangQian
    Members
    关于vllm镜像是否支持卸载内存 解决中 2026年10月9日 10:31

    请问目前沐曦发布的vLLM镜像是否支持卸载内存,即英伟达的sleep mode模式,若不支持有什么替代方案嘛?

  • See post chevron_right
    WangQian
    Members
    【求助】沐曦8卡C500单机跑Deepseek量化版,当上下文长度设置为400K时,1-2人同时使用就会崩溃报错。 已解决 2026年6月2日 14:45

    DeepSeek-V4量化版:
    metax-tech/DeepSeek-V4-Flash-FlexSMQ-AWQ-W8A8
    modelscope.cn/models/metax-tech/DeepSeek-V4-Flash-FlexSMQ-AWQ-W8A8

  • 沐曦开发者论坛
powered by misago