如图, 不知是否支持?
如图, 不知是否支持?
我看 目前sglang最新版是 sglang:0.5.13 。 是否支持 Qwen3.8-27B ? 之前发的一个帖子里面你们回复说是 不支持 。
哪个sglang 和 vllm 的哪个版本的docker镜像支持 Qwen3.8-27B ?
目前我们用的是 0.5.13 的镜像。 是否可以在该镜像的容器内,升级sglang ? 怎么升级?
sglang 镜像,官方什么时候更新啊? 有大概时间吗?
目前沐曦官方的 sglang 0.5.13 是否支持 Qwen3.8-27B ?
沐曦官方镜像 sglang 目前只到 0.5.13 。 啥时候能更新版本啊? sglang目前官方版是0.5.18 了。
沐曦官方什么时候出qwen3.8 27B W8A8 ?
有没有C500的云服务器可以租赁的?
沐曦官方有和腾讯云或者阿里云合作 云服务器租赁吗?
SGLang社区 在哪里?
日志中 tool call 输出是这样的:
<tool_call>
<function=get_highest_load_line>
<parameter=limit>10</parameter>
</function>
</tool_call>
请问,怎么配置,可以让模型 tool_call 返回 OpenAI 标准 , 而不是XML
python3 -m sglang.launch_server \
--model-path /root/models/Qwen3.6-27B-W8A8 \
--host 0.0.0.0 \
--port 30000 \
--tp-size 1 如何支持 function_calling
python3 -m sglang.launch_server \
--model-path /root/models/Qwen3.6-27B-W8A8 \
--host 0.0.0.0 \
--port 30000 \
--tp-size 1 我这样启动后,GPU显存占用了55G, 怎么优化?
C500, 单卡,可以跑Qwen3.6的哪个量化版本? 如果跑不了,跑哪个模型最优?