模型介绍

Qwen3-Coder-30B-A3B-Instruct 在保持卓越性能与效率的同时，具备以下优势：

在智能编程代理、浏览器操作代理等基础编程任务中表现优异
原生支持256K超长上下文窗口，通过Yarn技术可扩展至100万token，专为代码库级理解优化
支持Qwen Code、CLINE等主流平台的智能编程代理功能，采用专门设计的函数调用格式

详细配置

针对中小开发团队对低成本私有化部署的需求，我们验证了基于“台式机+沐曦单卡”的部署方案，具体配置如下：

CPU：Intel 12700（含核显）
主板：超微 X13SAE-F
内存：DDR5 64GB（实际使用中32GB已足够）
硬盘：NVMe 1TB
GPU：沐曦 N260（64GB显存）* 1
操作系统：Ubuntu 22.04
模型：Qwen3-Coder-30B-A3B-Instruct-w8a8（沐曦专用量化版本），支持128K上下文，16路并行

验证结果

可满足3至5人团队的日常开发需求
日常推理速度可达30–50 tokens/秒

详细步骤

1. 模型下载

请前往沐曦在魔搭社区的专区下载模型，注意选择 Qwen3-Coder-30B-A3B-Instruct-w8a8（w8a8量化版本）。

2. 下载并安装沐曦驱动

请至沐曦开发者社区软件中心下载对应驱动。

注意：请确认Linux内核版本在沐曦驱动支持范围内，具体请参考《曦云系列_通用GPU_用户指南》中的“3.1.1 系统支持范围”。

3. 下载Docker镜像

4. 启动Docker镜像

执行以下命令启动容器：

bash
docker run -itd \
  --device=/dev/dri \
  --device=/dev/mxcd \
  --group-add video \
  --network=host \
  --name vllm-qwen3-coder-30b-w8a8 \
  --security-opt seccomp=unconfined \
  --security-opt apparmor=unconfined \
  --shm-size 100gb \
  --ulimit memlock=-1 \
  -v /models:/models \
  cr.metax-tech.com/public-ai-release/maca/vllm-metax:0.10.2-maca.ai3.2.1.7-torch2.6-py310-ubuntu22.04-amd64 \
  /bin/bash

注意：
a. 请根据实际情况调整 -v 参数中的本地路径与容器内路径
b. 确保使用的Docker镜像名称与实际下载的镜像一致

5. 在容器中启动vLLM推理服务

进入容器后，执行以下命令启动推理服务：

nohup \
vllm serve /models/Qwen3-Coder-30B-A3B-Instruct-w8a8 \
  --port 8081 \
  --api-key MX123123 \
  --served-model-name Qwen3-Coder-30B-W8A8 \
  -tp 1 \
  --max-model-len 131072 \
  --max-num-seqs 16 \
  >/models/logs/Qwen3-Coder-30B-W8A8.log 2>&1 &

注意：
a. 请修改模型路径及API密钥为实际值
b. 确保日志目录及文件具有足够的访问权限

6. 配置客户端访问

以VSCode + CLINE为例，配置方式如下：

问题交流

如在部署过程中遇到任何问题，欢迎前往沐曦开发者社区论坛发帖讨论。