MetaX-Tech Developer Forum 论坛首页
  • 沐曦开发者
search
Sign in
  • chevron_right Threads
  • label 产品&运维
  • label 已解决

GGUF 格式的模型部署问题

trdyun
2026年6月27日
chat_bubble_outline 1
  • link
    trdyun
    Members 12 posts
    2026年6月27日 20:06 2026年6月27日 20:06
    link

    现在有很多模型我想要使用 MXC500 部署 Q4_K_V 的量化版本,GGUF 格式的权重通常需要llama.cpp 的推理支持,但注意到沐曦没有做这方面的支持,想问一下这个格式的权重推理部署,官方有什么样的建议?

  • arrow_forward

    Thread has been moved from 公共.

    • By shuai_chen on 2026年6月29日 10:20.
  • link
    shuai_chen
    Members 650 posts
    2026年6月29日 10:20 2026年6月29日 10:20
    link

    尊敬的开发者您好,暂不支持GGUF格式

  • arrow_forward

    Thread has been moved from 解决中.

    • By shuai_chen on 2026年7月6日 10:21.
arrow_upward Go to top
  • 沐曦开发者论坛
powered by misago