C500系列对于8月之后更新的模型中GLM/deepseek/Qwen,哪些镜像支持哪些模型,我看到的提问都是问这些模型不支持,回答也是等更新。所以支持的是哪些呢。
C500系列对于8月之后更新的模型中GLM/deepseek/Qwen,哪些镜像支持哪些模型,我看到的提问都是问这些模型不支持,回答也是等更新。所以支持的是哪些呢。
您好,有Qwen3.6-35b-a3b模型的启动命令吗,我使用0.26.0版本部署的服务,会偶发的出现输出token数量过多的问题
尊敬的开发者您好,模型能力问题,请更换其他模型
感谢您的回复,请问qwen3.8-27b有这样的问题吗,或者您推荐一个没有问题的多模态模型,2卡能部署的
以及是否有相关的参考的启动命令呢
尊敬的开发者您好,使用sglang最新镜像
镜像启动命令参考gitee.com/metax-maca/vllm-metax-guide/blob/master/docker.md
容器内启动命令参考
sglang serve \
--trust-remote-code \
--model-path metax-tech/Qwen3.8-27B-W8A8 \
--mem-fraction-static 0.85 \
--reasoning-parser qwen3 \
--tool-call-parser qwen3_coder \
--host 0.0.0.0 \
--port 30000 \
--speculative-algorithm EAGLE \
--speculative-num-steps 3 \
--speculative-eagle-topk 1 \
--speculative-num-draft-tokens 4 \
感谢您的回复,gitee.com/metax-maca/vllm-metax-guide/blob/master/docker.md 这是vllm-metax的文档,我使用您给的sglang的参数2张c500启动Qwen3.8-27b的bf16版本,发现性能很差,6并发下,吞吐大概50左右,且保障了85%的前缀缓存命中,输入50k,输出350,请问是否有sglang的2卡的最佳实践,比如环境变量,dspark投机解码的支持等