MetaX-Tech Developer Forum 论坛首页
  • 沐曦开发者
search
Sign in

scofield

  • Members
  • Joined 2026年5月19日
  • message 帖子
  • forum 主题
  • favorite 关注者
  • favorite_border Follows
  • person_outline 详细信息

scofield has posted 14 messages.

  • See post chevron_right
    scofield
    Members
    哪个sglang 和 vllm 的哪个版本的docker镜像支持 Qwen3.8-27B ? 已解决 2026年9月20日 10:53

    如图, 不知是否支持?

  • See post chevron_right
    scofield
    Members
    哪个sglang 和 vllm 的哪个版本的docker镜像支持 Qwen3.8-27B ? 已解决 2026年9月20日 10:49
    @shuai_chen has written:

    尊敬的开发者您好,最新版本均支持

    我看 目前sglang最新版是 sglang:0.5.13 。 是否支持 Qwen3.8-27B ? 之前发的一个帖子里面你们回复说是 不支持 。

  • See post chevron_right
    scofield
    Members
    哪个sglang 和 vllm 的哪个版本的docker镜像支持 Qwen3.8-27B ? 已解决 2026年9月19日 22:45

    哪个sglang 和 vllm 的哪个版本的docker镜像支持 Qwen3.8-27B ?

  • See post chevron_right
    scofield
    Members
    沐曦官方镜像 sglang 目前只到 0.5.13 。 啥时候能更新版本啊? sglang目前官方版是0.5.18 了。 已解决 2026年9月4日 11:41
    @shuai_chen has written:

    尊敬的开发者您好,请等待近期镜像更新。

    目前我们用的是 0.5.13 的镜像。 是否可以在该镜像的容器内,升级sglang ? 怎么升级?

  • See post chevron_right
    scofield
    Members
    沐曦官方镜像 sglang 目前只到 0.5.13 。 啥时候能更新版本啊? sglang目前官方版是0.5.18 了。 已解决 2026年9月4日 11:38

    sglang 镜像,官方什么时候更新啊? 有大概时间吗?

  • See post chevron_right
    scofield
    Members
    沐曦官方镜像 sglang 目前只到 0.5.13 。 啥时候能更新版本啊? sglang目前官方版是0.5.18 了。 已解决 2026年9月4日 11:27

    目前沐曦官方的 sglang 0.5.13 是否支持 Qwen3.8-27B ?

  • See post chevron_right
    scofield
    Members
    沐曦官方镜像 sglang 目前只到 0.5.13 。 啥时候能更新版本啊? sglang目前官方版是0.5.18 了。 已解决 2026年9月4日 11:22

    沐曦官方镜像 sglang 目前只到 0.5.13 。 啥时候能更新版本啊? sglang目前官方版是0.5.18 了。

  • See post chevron_right
    scofield
    Members
    沐曦官方什么时候出qwen3.8 27B W8A8 ? 已解决 2026年8月16日 18:17

    沐曦官方什么时候出qwen3.8 27B W8A8 ?

  • See post chevron_right
    scofield
    Members
    有没有C500的云服务器可以租赁的? 已解决 2026年7月22日 21:23

    有没有C500的云服务器可以租赁的?
    沐曦官方有和腾讯云或者阿里云合作 云服务器租赁吗?

  • See post chevron_right
    scofield
    Members
    C500, 单卡,可以跑Qwen3.6的哪个量化版本? 已解决 2026年7月20日 15:50
    @shuai_chen has written:
    @scofield has written:
    • 端点:POST /v1/chat/completions
    • 模型:Qwen3.6-27B-W8A8
      返回结果中,
      Tool Call 用的是 XML 格式,不是 OpenAI 标准

    日志中 tool call 输出是这样的:

    <tool_call>
    <function=get_highest_load_line>
    <parameter=limit>10</parameter>
    </function>
    </tool_call>


    请问,怎么配置,可以让模型 tool_call 返回 OpenAI 标准 , 而不是XML

    尊敬的开发者您好,请在SGLang社区提问此问题。

    SGLang社区 在哪里?

  • See post chevron_right
    scofield
    Members
    C500, 单卡,可以跑Qwen3.6的哪个量化版本? 已解决 2026年7月20日 15:46
    • 端点:POST /v1/chat/completions
    • 模型:Qwen3.6-27B-W8A8
      返回结果中,
      Tool Call 用的是 XML 格式,不是 OpenAI 标准

    日志中 tool call 输出是这样的:

    <tool_call>
    <function=get_highest_load_line>
    <parameter=limit>10</parameter>
    </function>
    </tool_call>


    请问,怎么配置,可以让模型 tool_call 返回 OpenAI 标准 , 而不是XML

  • See post chevron_right
    scofield
    Members
    C500, 单卡,可以跑Qwen3.6的哪个量化版本? 已解决 2026年5月24日 19:20

    python3 -m sglang.launch_server \
    --model-path /root/models/Qwen3.6-27B-W8A8 \
    --host 0.0.0.0 \
    --port 30000 \
    --tp-size 1 如何支持 function_calling

  • See post chevron_right
    scofield
    Members
    C500, 单卡,可以跑Qwen3.6的哪个量化版本? 已解决 2026年5月20日 16:46

    python3 -m sglang.launch_server \
    --model-path /root/models/Qwen3.6-27B-W8A8 \
    --host 0.0.0.0 \
    --port 30000 \
    --tp-size 1 我这样启动后,GPU显存占用了55G, 怎么优化?

  • See post chevron_right
    scofield
    Members
    C500, 单卡,可以跑Qwen3.6的哪个量化版本? 已解决 2026年5月19日 09:11

    C500, 单卡,可以跑Qwen3.6的哪个量化版本? 如果跑不了,跑哪个模型最优?

  • 沐曦开发者论坛
powered by misago