MetaX-Tech Developer Forum 论坛首页
  • 沐曦开发者
search
Sign in

scofield

  • Members
  • Joined 2026年5月19日
  • message 帖子
  • forum 主题
  • favorite 关注者
  • favorite_border Follows
  • person_outline 详细信息

scofield has posted 7 messages.

  • See post chevron_right
    scofield
    Members
    沐曦官方什么时候出qwen3.8 27B W8A8 ? 解决中 2026年8月16日 18:17

    沐曦官方什么时候出qwen3.8 27B W8A8 ?

  • See post chevron_right
    scofield
    Members
    有没有C500的云服务器可以租赁的? 已解决 2026年7月22日 21:23

    有没有C500的云服务器可以租赁的?
    沐曦官方有和腾讯云或者阿里云合作 云服务器租赁吗?

  • See post chevron_right
    scofield
    Members
    C500, 单卡,可以跑Qwen3.6的哪个量化版本? 已解决 2026年7月20日 15:50
    @shuai_chen has written:
    @scofield has written:
    • 端点:POST /v1/chat/completions
    • 模型:Qwen3.6-27B-W8A8
      返回结果中,
      Tool Call 用的是 XML 格式,不是 OpenAI 标准

    日志中 tool call 输出是这样的:

    <tool_call>
    <function=get_highest_load_line>
    <parameter=limit>10</parameter>
    </function>
    </tool_call>


    请问,怎么配置,可以让模型 tool_call 返回 OpenAI 标准 , 而不是XML

    尊敬的开发者您好,请在SGLang社区提问此问题。

    SGLang社区 在哪里?

  • See post chevron_right
    scofield
    Members
    C500, 单卡,可以跑Qwen3.6的哪个量化版本? 已解决 2026年7月20日 15:46
    • 端点:POST /v1/chat/completions
    • 模型:Qwen3.6-27B-W8A8
      返回结果中,
      Tool Call 用的是 XML 格式,不是 OpenAI 标准

    日志中 tool call 输出是这样的:

    <tool_call>
    <function=get_highest_load_line>
    <parameter=limit>10</parameter>
    </function>
    </tool_call>


    请问,怎么配置,可以让模型 tool_call 返回 OpenAI 标准 , 而不是XML

  • See post chevron_right
    scofield
    Members
    C500, 单卡,可以跑Qwen3.6的哪个量化版本? 已解决 2026年5月24日 19:20

    python3 -m sglang.launch_server \
    --model-path /root/models/Qwen3.6-27B-W8A8 \
    --host 0.0.0.0 \
    --port 30000 \
    --tp-size 1 如何支持 function_calling

  • See post chevron_right
    scofield
    Members
    C500, 单卡,可以跑Qwen3.6的哪个量化版本? 已解决 2026年5月20日 16:46

    python3 -m sglang.launch_server \
    --model-path /root/models/Qwen3.6-27B-W8A8 \
    --host 0.0.0.0 \
    --port 30000 \
    --tp-size 1 我这样启动后,GPU显存占用了55G, 怎么优化?

  • See post chevron_right
    scofield
    Members
    C500, 单卡,可以跑Qwen3.6的哪个量化版本? 已解决 2026年5月19日 09:11

    C500, 单卡,可以跑Qwen3.6的哪个量化版本? 如果跑不了,跑哪个模型最优?

  • 沐曦开发者论坛
powered by misago