MetaX-Tech Developer Forum 论坛首页
  • 沐曦开发者
search
Sign in
  • chevron_right Threads
  • label type:文档
  • label 已解决

请教一下GLM/deepseek/Qwen近两个月内的模型支持

lidingke
2026年10月21日
chat_bubble_outline 8
  • link
    lidingke
    Members 1 post
    2026年10月21日 16:44 2026年10月21日 16:44
    link

    C500系列对于8月之后更新的模型中GLM/deepseek/Qwen,哪些镜像支持哪些模型,我看到的提问都是问这些模型不支持,回答也是等更新。所以支持的是哪些呢。

  • arrow_forward

    Thread has been moved from 公共.

    • By shuai_chen on 2026年10月21日 17:30.
  • link
    shuai_chen
    Members 1029 posts
    2026年10月21日 17:31 2026年10月21日 17:31
    link

    尊敬的开发者您好,请参考developer.metax-tech.com/llm-inference

  • link
    WangHaoming
    Members 4 posts
    2026年10月22日 15:57 2026年10月22日 15:57
    link
    @shuai_chen has written:

    尊敬的开发者您好,请参考developer.metax-tech.com/llm-inference

    您好,有Qwen3.6-35b-a3b模型的启动命令吗,我使用0.26.0版本部署的服务,会偶发的出现输出token数量过多的问题

  • link
    shuai_chen
    Members 1029 posts
    2026年10月22日 17:28 2026年10月22日 17:28
    link
    @WangHaoming has written:
    @shuai_chen has written:

    尊敬的开发者您好,请参考developer.metax-tech.com/llm-inference

    您好,有Qwen3.6-35b-a3b模型的启动命令吗,我使用0.26.0版本部署的服务,会偶发的出现输出token数量过多的问题

    尊敬的开发者您好,模型能力问题,请更换其他模型

  • link
    WangHaoming
    Members 4 posts
    2026年10月22日 20:54 2026年10月22日 20:54
    link

    感谢您的回复,请问qwen3.8-27b有这样的问题吗,或者您推荐一个没有问题的多模态模型,2卡能部署的

  • link
    WangHaoming
    Members 4 posts
    2026年10月22日 20:56 2026年10月22日 20:56
    link

    以及是否有相关的参考的启动命令呢

  • link
    shuai_chen
    Members 1029 posts
    2026年10月23日 10:24 2026年10月23日 10:24
    link

    尊敬的开发者您好,使用sglang最新镜像
    镜像启动命令参考gitee.com/metax-maca/vllm-metax-guide/blob/master/docker.md
    容器内启动命令参考

    sglang serve \
    --trust-remote-code \
    --model-path metax-tech/Qwen3.8-27B-W8A8 \
    --mem-fraction-static 0.85 \
    --reasoning-parser qwen3 \
    --tool-call-parser qwen3_coder \
    --host 0.0.0.0 \
    --port 30000 \
    --speculative-algorithm EAGLE \
    --speculative-num-steps 3 \
    --speculative-eagle-topk 1 \
    --speculative-num-draft-tokens 4 \

  • arrow_forward

    Thread has been moved from 解决中.

    • By shuai_chen on 2026年10月30日 10:40.
  • link
    WangHaoming
    Members 4 posts
    2026年11月20日 17:28 2026年11月20日 17:28
    link

    感谢您的回复,gitee.com/metax-maca/vllm-metax-guide/blob/master/docker.md 这是vllm-metax的文档,我使用您给的sglang的参数2张c500启动Qwen3.8-27b的bf16版本,发现性能很差,6并发下,吞吐大概50左右,且保障了85%的前缀缓存命中,输入50k,输出350,请问是否有sglang的2卡的最佳实践,比如环境变量,dspark投机解码的支持等

  • link
    shuai_chen
    Members 1029 posts
    2026年11月20日 17:30 2026年11月20日 17:30
    link

    尊敬的开发者您好,请参考developer.metax-tech.com/forum/t/fa-tie-qian-bi-kan-jing-xiang-shi-yong-wen-ti-ti-wen-mo-ban/267/ 新建一个帖子详细描述

arrow_upward Go to top
  • 沐曦开发者论坛
powered by misago