MetaX-Tech Developer Forum 论坛首页
  • 沐曦开发者
search
Sign in
  • chevron_right Threads
  • label 产品&运维
  • label 已解决

沐曦官方镜像 sglang 目前只到 0.5.13 。 啥时候能更新版本啊? sglang目前官方版是0.5.18 了。

scofield
2026年9月4日
chat_bubble_outline 9
  • link
    scofield
    Members 14 posts
    2026年9月4日 11:22 2026年9月4日 11:22
    link

    沐曦官方镜像 sglang 目前只到 0.5.13 。 啥时候能更新版本啊? sglang目前官方版是0.5.18 了。

  • arrow_forward

    Thread has been moved from 公共.

    • By shuai_chen on 2026年9月4日 11:24.
  • link
    shuai_chen
    Members 949 posts
    2026年9月4日 11:24 2026年9月4日 11:24
    link

    尊敬的开发者您好,请等待后续镜像更新。若需申请POC镜像,请通过GPU购买商务渠道获取。

  • link
    scofield
    Members 14 posts
    2026年9月4日 11:27 2026年9月4日 11:27
    link

    目前沐曦官方的 sglang 0.5.13 是否支持 Qwen3.8-27B ?

  • link
    shuai_chen
    Members 949 posts
    2026年9月4日 11:35 2026年9月4日 11:35
    link

    尊敬的开发者您好,支持

  • link
    scofield
    Members 14 posts
    2026年9月4日 11:38 2026年9月4日 11:38
    link

    sglang 镜像,官方什么时候更新啊? 有大概时间吗?

  • link
    shuai_chen
    Members 949 posts
    2026年9月4日 11:39 2026年9月4日 11:39
    link

    尊敬的开发者您好,请等待近期镜像更新。

  • link
    scofield
    Members 14 posts
    2026年9月4日 11:41 2026年9月4日 11:41
    link
    @shuai_chen has written:

    尊敬的开发者您好,请等待近期镜像更新。

    目前我们用的是 0.5.13 的镜像。 是否可以在该镜像的容器内,升级sglang ? 怎么升级?

  • link
    shuai_chen
    Members 949 posts
    2026年9月4日 11:42 2026年9月4日 11:42
    link

    尊敬的开发者您好,请等待近期sglang安装包更新。

  • link
    yisheng163
    Members 11 posts
    2026年9月8日 08:23 2026年9月8日 08:23
    link

    ===== Python =====
    /opt/conda/bin/python
    /opt/conda/bin/python3
    Python 3.10.10

    ===== torch =====
    torch: 2.8.0+metax3.7.0.7
    cuda available: True
    device count: 2

    ===== vLLM =====
    vllm: 0.20.0

    我部成功了。sglang不行 vllm 可以。
    用这个镜像 vllm-metax:0.20.0-maca.ai3.7.0.107-torch2.8-py310-ubuntu22.04-amd64

  • link
    15287246311
    Members 11 posts
    2026年9月8日 08:29 2026年9月8日 08:29
    link

    启用小页支持

    export MACA_SMALL_PAGESIZE_ENABLE=1

    提升 PyTorch 流优先级

    export PYTORCH_ENABLE_PG_HIGH_PRIORITY_STREAM=1

    算子下沉优化

    export TRITON_ENABLE_MAC_A_OPT_MOVE_DOT_OPERANDS_OUT_LOOP=1
    export TRITON_ENABLE_MAC_A_CHAIN_DOT_OPT=1

    根据 mx-smi topo -m 的结果设置 GPU 顺序(示例为 0-7 顺序,请按需修改)

    export MACA_VISIBLE_DEVICE=0

    Enable speculative decoding v2 for Mamba models

    export SGLANG_ENABLE_SPEC_V2=1

    --- 2. Launch SGLang Server ---

    /opt/conda/bin/python3 -m sglang.launch_server \
    --model-path /models/Qwen3.8-27B-W8A8-INT8 \
    --served-model-name "Qwen3.8-27B" \
    --host 0.0.0.0 \
    --port 23600 \
    --tp 1 \
    --trust-remote-code \
    --dtype bfloat16 \
    --quantization w8a8_int8 \
    --attention-backend flashinfer \
    --kv-cache-dtype auto \
    --mem-fraction-static 0.92 \
    --context-length 102400 \
    --chunked-prefill-size 8192 \
    --max-mamba-cache-size 16 \
    --mamba-ssm-dtype bfloat16 \
    --mamba-scheduler-strategy extra_buffer \
    --schedule-policy lpm \
    --schedule-conservativeness 1.0 \
    --tool-call-parser qwen3_coder \
    --reasoning-parser qwen3

    我部署了qwen3.8-27B 效果还行

  • arrow_forward

    Thread has been moved from 解决中.

    • By shuai_chen on 2026年9月14日 10:13.
arrow_upward Go to top
  • 沐曦开发者论坛
powered by misago