沐曦官方镜像 sglang 目前只到 0.5.13 。 啥时候能更新版本啊? sglang目前官方版是0.5.18 了。
沐曦官方镜像 sglang 目前只到 0.5.13 。 啥时候能更新版本啊? sglang目前官方版是0.5.18 了。
尊敬的开发者您好,请等待后续镜像更新。若需申请POC镜像,请通过GPU购买商务渠道获取。
目前沐曦官方的 sglang 0.5.13 是否支持 Qwen3.8-27B ?
尊敬的开发者您好,支持
sglang 镜像,官方什么时候更新啊? 有大概时间吗?
尊敬的开发者您好,请等待近期镜像更新。
目前我们用的是 0.5.13 的镜像。 是否可以在该镜像的容器内,升级sglang ? 怎么升级?
尊敬的开发者您好,请等待近期sglang安装包更新。
===== Python =====
/opt/conda/bin/python
/opt/conda/bin/python3
Python 3.10.10
===== torch =====
torch: 2.8.0+metax3.7.0.7
cuda available: True
device count: 2
===== vLLM =====
vllm: 0.20.0
我部成功了。sglang不行 vllm 可以。
用这个镜像 vllm-metax:0.20.0-maca.ai3.7.0.107-torch2.8-py310-ubuntu22.04-amd64
export MACA_SMALL_PAGESIZE_ENABLE=1
export PYTORCH_ENABLE_PG_HIGH_PRIORITY_STREAM=1
export TRITON_ENABLE_MAC_A_OPT_MOVE_DOT_OPERANDS_OUT_LOOP=1
export TRITON_ENABLE_MAC_A_CHAIN_DOT_OPT=1
export MACA_VISIBLE_DEVICE=0
export SGLANG_ENABLE_SPEC_V2=1
/opt/conda/bin/python3 -m sglang.launch_server \
--model-path /models/Qwen3.8-27B-W8A8-INT8 \
--served-model-name "Qwen3.8-27B" \
--host 0.0.0.0 \
--port 23600 \
--tp 1 \
--trust-remote-code \
--dtype bfloat16 \
--quantization w8a8_int8 \
--attention-backend flashinfer \
--kv-cache-dtype auto \
--mem-fraction-static 0.92 \
--context-length 102400 \
--chunked-prefill-size 8192 \
--max-mamba-cache-size 16 \
--mamba-ssm-dtype bfloat16 \
--mamba-scheduler-strategy extra_buffer \
--schedule-policy lpm \
--schedule-conservativeness 1.0 \
--tool-call-parser qwen3_coder \
--reasoning-parser qwen3
我部署了qwen3.8-27B 效果还行