沐曦 MXC500 是否支持 W4A8 量化部署 | 已解决 | 沐曦开发者论坛

trdyun

2026年7月11日

chat_bubble_outline 1

link

trdyun
Members 13 posts

2026年7月11日 03:29 2026年7月11日 03:29
link

如题，社区还有 W4A8 的量化版本，是否能通过 vllm 或 sglang 部署？
arrow_forward
Thread has been moved from 公共.
- By shuai_chen on 2026年7月13日 10:05.
link

shuai_chen
Members 794 posts

2026年7月13日 10:06 2026年7月13日 10:06
link

尊敬的开发者您好，支持，请参考社区实现方案
arrow_forward
Thread has been moved from 解决中.
- By shuai_chen on 2026年7月17日 10:18.