1. 概述

本文档包含了此次发布的AI应用软件包的特性，已知问题和使用限制等。

此次发布是曦云系列GPU的AI应用交付，MXMACA-C500-Driver-2.33.1.6，MXMACA-C500-SDK-2.33.1.15，MXMACA-C500-Pytorch-2.33.1.8 版本适用于曦云^® C500、C500-P、C500X、C550 和曦思^® N260。

下表列出了系统测试覆盖率和通过率。

表 1.1 系统测试覆盖率及通过率
系统	测试覆盖率/通过率
sglang-2.33.1.7	Full regression with release quality

1.1. 交付内容

此次发布包含以下内容：

二进制文件，动态库和容器镜像文件
SGLang大模型推理框架
《曦云^® 系列通用计算GPU AI推理（DeepSeek）用户手册》

2. 新增特性及变更

本章列出历次发布的新增特性及变更。

2.1. 配套MXMACA-C500-SDK-2.33.1.15，MXMACA-C500-Driver-2.33.1.6，MXMACA-C500-Pytorch-2.33.1.8

2.1.1. mxc500-sglang-2.33.1.7

模块	特性说明
SGLang	适配v0.4.5
	支持DeepSeek-BF16模型及DeepSeek-R1-Qwen系列蒸馏模型
	支持W8A8_INT8和W4A16量化

2.2. 配套MXMACA-C500-SDK-2.29.2.7，MXMACA-C500-Driver-2.29.2.5，MXMACA-C500-Pytorch-2.29.2.6

2.2.1. mxc500-vllm-2.29.2.9

模块	特性说明
vllm	版本升级为0.7.2（仅使用py310）
	使用torch2.4
	DeepSeek V3/R1性能大幅提升
	serve方式测试OpenAI以及Benchmark_serving

2.2.2. mxc500-modelzoo.llm.vllm-2.29.2.9

模块	特性说明
modelzoo.llm.vllm	支持vllm 0.7.2测试
modelzoo.llm.vllm	新增模型支持

2.3. 配套MXMACA-C500-Driver-2.25.0.3，MXMACA-C500-SDK-2.25.0.7，MXMACA-C500-Pytorch-2.25.0.0

2.3.1. mxc500-ppl.llm.serving-2.25.0.5

模块	特性说明
ppl.llm.serving	支持Baichuan2-13B
ppl.llm.serving	支持openppl 特性

2.3.2. mxc500-modelzoo.llm.ppl-2.25.0.5

模块	特性说明
modelzoo.llm.ppl	支持Baichuan2-13B
modelzoo.llm.ppl	支持openppl 特性

2.3.3. mxc500-vllm-2.25.0.6

模块	特性说明
vllm	兼容vllm 0.4.0
	支持py38
	FP16: 支持llama、llama2、llama3 类模型支持
	FP16: 支持Qwen、Qwen1.5
	FP16: 支持chatglm2-6b、chatglm3-6b-32k
	FP16: 支持falcon-7b、falcon-40b
	FP16: 支持Baichuan2
	FP16: 支持Yi-6B、Yi-34B
	FP16: 支持Mixtral-8x7B-v0.1

2.3.4. mxc500-modelzoo.llm.vllm-2.25.0.6

模块	特性说明
modelzoo.llm.vllm	兼容vllm 0.4.0
	支持py38
	FP16: 支持llama、llama2、llama3 类模型支持
	FP16: 支持Qwen、Qwen1.5
	FP16: 支持chatglm2-6b、chatglm3-6b-32k
	FP16: 支持falcon-7b、falcon-40b
	FP16: 支持Baichuan2
	FP16: 支持Yi-6B、Yi-34B
	FP16: 支持Mixtral-8x7B-v0.1

3. 已知问题和使用限制

模块	问题和限制说明
SGLang	无已知问题