2. 新增特性及变更

本章列出历次发布的新增特性及变更。

2.1. 配套MXMACA-C500-Driver-2.33.1.6，MXMACA-C500-SDK-2.33.1.13，MXMACA-C500-Pytorch-2.33.1.7

2.1.1. mxc500-vllm-2.33.1.12

模块	特性说明
vllm	支持 0.8.5
vllm	支持文心一言模型

2.1.2. mxc500-modelzoo.llm.vllm-2.33.1.12

模块	特性说明
modelzoo.llm.vllm	支持文心一言模型

2.2. 配套MXMACA-C500-Driver-2.33.1.6，MXMACA-C500-SDK-2.33.1.15，MXMACA-C500-Pytorch-2.33.1.8

2.2.1. mxc500-sglang-2.33.1.7

模块	特性说明
SGLang	适配v0.4.5
	支持DeepSeek-BF16模型及DeepSeek-R1-Qwen系列蒸馏模型
	支持W8A8_INT8和W4A16量化

2.3. 配套MXMACA-C500-SDK-2.29.2.7，MXMACA-C500-Driver-2.29.2.5，MXMACA-C500-Pytorch-2.29.2.6

2.3.1. mxc500-vllm-2.29.2.9

模块	特性说明
vllm	版本升级为0.7.2（仅使用py310）
	使用torch2.4
	DeepSeek V3/R1性能大幅提升
	serve方式测试OpenAI以及Benchmark_serving

2.3.2. mxc500-modelzoo.llm.vllm-2.29.2.9

模块	特性说明
modelzoo.llm.vllm	支持vllm 0.7.2测试
modelzoo.llm.vllm	新增模型支持

2.4. 配套MXMACA-C500-Driver-2.25.0.3，MXMACA-C500-SDK-2.25.0.7，MXMACA-C500-Pytorch-2.25.0.0

2.4.1. mxc500-ppl.llm.serving-2.25.0.5

模块	特性说明
ppl.llm.serving	支持Baichuan2-13B
ppl.llm.serving	支持openppl 特性

2.4.2. mxc500-modelzoo.llm.ppl-2.25.0.5

模块	特性说明
modelzoo.llm.ppl	支持Baichuan2-13B
modelzoo.llm.ppl	支持openppl 特性

2.4.3. mxc500-vllm-2.25.0.6

模块	特性说明
vllm	兼容vllm 0.4.0
	支持py38
	FP16: 支持llama、llama2、llama3 类模型支持
	FP16: 支持Qwen、Qwen1.5
	FP16: 支持chatglm2-6b、chatglm3-6b-32k
	FP16: 支持falcon-7b、falcon-40b
	FP16: 支持Baichuan2
	FP16: 支持Yi-6B、Yi-34B
	FP16: 支持Mixtral-8x7B-v0.1

2.4.4. mxc500-modelzoo.llm.vllm-2.25.0.6

模块	特性说明
modelzoo.llm.vllm	兼容vllm 0.4.0
	支持py38
	FP16: 支持llama、llama2、llama3 类模型支持
	FP16: 支持Qwen、Qwen1.5
	FP16: 支持chatglm2-6b、chatglm3-6b-32k
	FP16: 支持falcon-7b、falcon-40b
	FP16: 支持Baichuan2
	FP16: 支持Yi-6B、Yi-34B
	FP16: 支持Mixtral-8x7B-v0.1