问题反馈：Qwen3-ASR-0.6B 在 vllm-metax 0.20.0 环境下 CPU 内存占用异常升高
一、问题描述
在相同硬件环境、相同模型、相同部署方式下，对比测试发现：
- vllm-metax 0.17.0 版本运行 Qwen3-ASR-0.6B 时，系统内存占用约 28GB；
- vllm-metax 0.20.0 版本运行 Qwen3-ASR-0.6B 时，系统内存占用超过 60GB；
两者 GPU 显存占用基本一致，但 CPU 内存占用增长超过一倍。
希望官方协助分析是否存在：
- Host KV Cache 扩大
- Runtime Memory Pool 增加
- Pinned Memory 增加
- mmap/cache 行为变化
- 内存泄漏
- 其他版本变更导致的内存增长
二、测试环境
硬件环境
| 项目 | 信息 |
| ----- | ---------- |
| GPU型号 | MetaX N260 |
| GPU数量 | 1 |
| GPU显存 | 64GB |
测试环境一
Docker镜像
cr.metax-tech.com/public-ai-release/maca/vllm-metax:0.17.0-maca.ai3.5.3.307-torch2.8-py312-ubuntu22.04-amd64
软件版本
MX-SMI Version: 2.3.1
MACA Version: 3.5.3.307
Kernel Driver Version: 3.8.1
测试环境二
Docker镜像
cr.metax-tech.com/public-ai-release/maca/vllm-metax:0.20.0-maca.ai3.7.0.107-torch2.8-py312-ubuntu22.04-amd64
软件版本
MX-SMI Version: 2.3.1
MACA Version: 3.7.0.38
Kernel Driver Version: 3.8.1
三、模型信息
部署模型：
Qwen3-ASR-0.6B
部署框架：
vLLM
服务类型：
Qwen-ASR 实时语音识别服务
启动过程中同时加载：
speech_fsmn_vad_zh-cn-16k-common
speech_campplus-transformer_scl_zh-cn-16k-common
CAM++
Speaker Verification
Speaker Diarization
服务可正常启动。
四、显存测试结果
vllm-metax 0.17.0
MX-SMI：
Memory-Usage : 19221 / 65536 MiB
进程信息：
python 938 MiB
VLLM::EngineCor 17616 MiB
总显存占用：
约 19 GB
vllm-metax 0.20.0
MX-SMI：
Memory-Usage : 18331 / 65536 MiB
进程信息：
python 100 MiB
VLLM::EngineCor 17564 MiB
总显存占用：
约 18 GB
五、CPU内存测试结果
vllm-metax 0.17.0
系统内存占用约：
28 GB
服务运行稳定。
vllm-metax 0.20.0
系统内存占用约：
60+ GB
服务运行稳定。
对比结果
| 项目 | 0.17.0 | 0.20.0 |
| ----- | ------ | ------ |
| GPU显存 | ~19GB | ~18GB |
| CPU内存 | ~28GB | >60GB |
| 服务状态 | 正常 | 正常 |
可以看到：
- GPU显存占用基本一致；
- CPU内存占用增长约 30GB+；
- 差异主要体现在 Host Memory。
六、启动日志
服务正常启动。
关键日志如下：
CAM++ 模型加载成功
VAD 模型加载成功
Speaker Diarization 模型加载成功
Worker [main] 模型初始化完成
Application startup complete
Uvicorn running on http://127.0.0.1:18000
[entrypoint] Starting internal nginx load balancer on :17003
未发现明显报错。
七、问题分析
从测试结果看：
- GPU显存占用在两个版本中基本一致；
- 0.20.0 的主要变化体现在 CPU 内存；
- Qwen3-ASR-0.6B 本身参数量约为 0.6B；
- 单纯模型权重无法解释 60GB+ 的 Host Memory 占用。
怀疑可能与以下因素有关：
Host KV Cache
Pinned Memory
Runtime Memory Pool
Graph Cache
Kernel Cache
Memory Mapping
缓存策略变更
或者存在：
内存泄漏
缓存未释放
重复加载
等情况。
八、希望官方协助确认
1. 是否属于正常内存占用范围
请协助确认：
Qwen3-ASR-0.6B
+
VAD
+
CAM++
+
Speaker Diarization
在 MetaX N260 上运行时：
60GB+ Host Memory
是否属于正常现象。
2. 0.20.0 是否修改了内存管理策略
希望确认：
vllm-metax 0.17.0
→
vllm-metax 0.20.0
期间是否修改了：
- KV Cache
- Host Cache
- Runtime Pool
- Memory Manager
相关实现。
3. 是否启用了新的 Host KV Cache
希望确认：
Host KV Cache
Paged KV Cache
Pinned Memory
是否在 0.20.0 中默认开启或扩大。
4. 是否存在已知问题
希望确认：
0.20.0
MACA 3.7.0
是否存在：
- 内存泄漏
- Host Memory 异常增长
- Cache 不释放
等已知问题。
5. 是否有优化建议
希望提供：
- 推荐启动参数
- 推荐 KV Cache 配置
- 推荐 Memory Pool 配置
- 降低 Host Memory 的方法
九、附件
附件包括：
- vllm-metax 0.17.0 MX-SMI截图
- vllm-metax 0.20.0 MX-SMI截图
- 启动日志截图
- Docker镜像版本信息
- docker-compose.yml（如需可提供）
- 启动命令（如需可提供）
十、结论
相同部署方式下：
vllm-metax 0.17.0
CPU Memory ≈ 28GB
而：
vllm-metax 0.20.0
CPU Memory > 60GB
GPU显存占用基本一致，但 Host Memory 增长超过一倍。
希望官方协助分析内存构成、版本差异及优化建议。