MetaX-Tech Developer Forum 论坛首页
  • 沐曦开发者
search
Sign in
  • chevron_right Threads
  • label 产品&运维
  • label 已解决

4张沐曦C500部署Qwen3.5-397B-A17B-W8A8咨询

shmily_zsz
2026年6月18日
chat_bubble_outline 7
  • link
    shmily_zsz
    Members 4 posts
    2026年6月18日 16:55 2026年6月18日 16:55
    link

    请教下官方大佬下面的问题:
    1)目前有4张沐曦C500,如果部署Qwen3.5-397B-A17B-W8A8,有没有什么推荐的方案。
    2)在最终输出的精度可以达到非量化版本的百分之多少?目前主要使用Qwen3.5的多模态进行图片信息提取以及格式化输出(JSON)。
    3)安装4张沐曦C500,对服务器的CPU核心数、内存大小、磁盘大小有什么样的需求。
    4)4张沐曦C500可以支持的TPS可以达到多少。
    感谢官方大佬指导迷津。

  • link
    shuai_chen
    Members 650 posts
    2026年6月18日 16:56 2026年6月18日 16:56
    link

    尊敬的开发者您好,由于显存容量不够,四张C500无法部署

  • link
    shmily_zsz
    Members 4 posts
    2026年6月18日 17:01 2026年6月18日 17:01
    link

    那支持部署 qwen3-Vl-8b-instruct 这个小参数的数据模型么?

  • arrow_forward

    Thread has been moved from 产品&运维.

    • By shuai_chen on 2026年6月18日 17:03.
  • link
    shuai_chen
    Members 650 posts
    2026年6月18日 17:05 2026年6月18日 17:05
    link

    尊敬的开发者您好,支持部署。vllm服务启动命令请参考vllm社区相关启动命令。

  • link
    shmily_zsz
    Members 4 posts
    2026年6月18日 17:07 2026年6月18日 17:07
    link

    可以用官方的Docker镜像么?还是说得自己安装vllm

  • link
    shuai_chen
    Members 650 posts
    2026年6月18日 17:08 2026年6月18日 17:08
    link

    尊敬的开发者您好,请使用沐曦开发者社区vLLM-MetaX镜像developer.metax-tech.com/softnova/docker?chip_name=%E6%9B%A6%E4%BA%91C500%E7%B3%BB%E5%88%97&package_kind=AI&dimension=docker&deliver_type=%E5%88%86%E5%B1%82%E5%8C%85&ai_frame=vllm-metax

  • link
    shmily_zsz
    Members 4 posts
    2026年6月18日 17:10 2026年6月18日 17:10
    link

    镜像有说明文档没呀大佬

  • link
    shuai_chen
    Members 650 posts
    2026年6月18日 17:23 2026年6月18日 17:23
    link

    尊敬的开发者您好,请参考文档中心镜像相关文档developer.metax-tech.com/api/client/document/preview/1126/split_files/%E5%AE%B9%E5%99%A8%E7%9B%B8%E5%85%B3%E5%9C%BA%E6%99%AF%E6%94%AF%E6%8C%81.html#qijn5dquyd1r1

  • arrow_forward

    Thread has been moved from 解决中.

    • By shuai_chen on 2026年7月2日 11:16.
arrow_upward Go to top
  • 沐曦开发者论坛
powered by misago