MetaX-Tech Developer Forum 论坛首页
  • 沐曦开发者
search
Sign in
  • chevron_right Threads
  • label 产品&运维
  • label 已解决

C500, 单卡,可以跑Qwen3.6的哪个量化版本?

scofield
2026年5月19日
chat_bubble_outline 6
  • link
    scofield
    Members 3 posts
    2026年5月19日 09:11 2026年5月19日 09:11
    link

    C500, 单卡,可以跑Qwen3.6的哪个量化版本? 如果跑不了,跑哪个模型最优?

  • arrow_forward

    Thread has been moved from 公共.

    • By shuai_chen on 2026年5月19日 10:29.
  • link
    shuai_chen
    Members 650 posts
    2026年5月19日 10:31 2026年5月19日 10:31
    link

    尊敬的开发者您好,可以支持,Qwen3.6-27B-W8A8www.modelscope.cn/models/metax-tech/Qwen3.6-27B-W8A8

  • link
    scofield
    Members 3 posts
    2026年5月20日 16:46 2026年5月20日 16:46
    link

    python3 -m sglang.launch_server \
    --model-path /root/models/Qwen3.6-27B-W8A8 \
    --host 0.0.0.0 \
    --port 30000 \
    --tp-size 1 我这样启动后,GPU显存占用了55G, 怎么优化?

  • link
    shuai_chen
    Members 650 posts
    2026年5月20日 16:49 2026年5月20日 16:49
    link

    尊敬的开发者您好,请减少模型上下文长度尝试

  • link
    scofield
    Members 3 posts
    2026年5月24日 19:20 2026年5月24日 19:20
    link

    python3 -m sglang.launch_server \
    --model-path /root/models/Qwen3.6-27B-W8A8 \
    --host 0.0.0.0 \
    --port 30000 \
    --tp-size 1 如何支持 function_calling

  • link
    shuai_chen
    Members 650 posts
    2026年5月25日 10:33 2026年5月25日 10:33
    link

    尊敬的开发者您好,请参考docs.sglang.io/cookbook/autoregressive/Qwen/Qwen3.6

  • arrow_forward

    Thread has been moved from 解决中.

    • By shuai_chen on 2026年6月3日 17:03.
  • link
    yisheng163
    Members 9 posts
    2026年6月13日 17:27 2026年6月13日 17:27
    link

    docker run -it \
    --restart always \
    --device=/dev/dri \
    --device=/dev/mxcd \
    --group-add 44 \
    --name test-qwen36b_27b_w8a8_20260512 \
    --device=/dev/mem \
    -p 18000:8000 \
    --security-opt seccomp=unconfined \
    --security-opt apparmor=unconfined \
    --shm-size '100gb' \
    --ulimit memlock=-1 \
    -v /home/models/modelscope/:/home/models/modelscope/ \
    -v /etc/localtime:/etc/localtime \
    sglang:0.5.10-maca.ai3.7.1.12-torch2.8-py310-ubuntu22.04-amd64 \
    /opt/conda/bin/python -m sglang.launch_server \
    --model-path /home/models/modelscope/qwen36b_27b_w8a8_20260512 \
    --port 8000 \
    --host 0.0.0.0 \
    --tensor-parallel-size 1 \
    --context-length 32768 \
    --trust-remote-code \
    --served-model-name qwen3.6-27b_w8a8

    容器内补执行 apt update && apt install -y ninja-build

    image.png

arrow_upward Go to top
  • 沐曦开发者论坛
powered by misago