C500, 单卡,可以跑Qwen3.6的哪个量化版本? 如果跑不了,跑哪个模型最优?
C500, 单卡,可以跑Qwen3.6的哪个量化版本? 如果跑不了,跑哪个模型最优?
尊敬的开发者您好,可以支持,Qwen3.6-27B-W8A8www.modelscope.cn/models/metax-tech/Qwen3.6-27B-W8A8
python3 -m sglang.launch_server \
--model-path /root/models/Qwen3.6-27B-W8A8 \
--host 0.0.0.0 \
--port 30000 \
--tp-size 1 我这样启动后,GPU显存占用了55G, 怎么优化?
尊敬的开发者您好,请减少模型上下文长度尝试
python3 -m sglang.launch_server \
--model-path /root/models/Qwen3.6-27B-W8A8 \
--host 0.0.0.0 \
--port 30000 \
--tp-size 1 如何支持 function_calling
docker run -it \
--restart always \
--device=/dev/dri \
--device=/dev/mxcd \
--group-add 44 \
--name test-qwen36b_27b_w8a8_20260512 \
--device=/dev/mem \
-p 18000:8000 \
--security-opt seccomp=unconfined \
--security-opt apparmor=unconfined \
--shm-size '100gb' \
--ulimit memlock=-1 \
-v /home/models/modelscope/:/home/models/modelscope/ \
-v /etc/localtime:/etc/localtime \
sglang:0.5.10-maca.ai3.7.1.12-torch2.8-py310-ubuntu22.04-amd64 \
/opt/conda/bin/python -m sglang.launch_server \
--model-path /home/models/modelscope/qwen36b_27b_w8a8_20260512 \
--port 8000 \
--host 0.0.0.0 \
--tensor-parallel-size 1 \
--context-length 32768 \
--trust-remote-code \
--served-model-name qwen3.6-27b_w8a8
容器内补执行 apt update && apt install -y ninja-build