1. 概述

本文档包含了此次发布的AI应用软件包的特性,已知问题和使用限制等。

此次发布是MXC500 GPU的AI应用交付,MXMACA-C500-Driver-3.1.0.11MXMACA-C500-SDK-3.1.0.14MXMACA-C500-Pytorch-3.1.0.4 版本适用于曦云® C500、C500-P、C500X、C550 和曦思® N260。

下表列出了系统测试覆盖率和通过率。

表 1.1 系统测试覆盖率及通过率

系统

测试覆盖率/通过率

mxc500-paddle-3.1.0.5

Full regression with release quality

mxc500-deepspeed-3.1.0.5

Full regression with release quality

mxc500-internlm-3.1.0.5

Full regression with release quality

mxc500-bitsandbytes-3.1.0.5

Full regression with release quality

mxc500-tensorflow-3.1.0.5

Full regression with release quality

mxc500-modelzoo.cnn.training-3.1.0.5

Full regression with release quality

mxc500-mmcv-3.1.0.5

Full regression with release quality

mxc500-megatron-lm-3.1.0.7

Full regression with release quality

mxc500-colossalai-3.1.0.5

Full regression with release quality

mxc500-verl-3.1.0.5

Full regression with release quality

mxc500-triton-inference-server-3.1.0.5

Full regression with release quality

mxc500-modelzoo.llm.transformers-3.1.0.5

Full regression with release quality

mxc500-diffusers.training-3.1.0.5

Full regression with release quality

mxc500-xtuner-3.1.0.5

Full regression with release quality

mxc500-cv-cuda-3.1.0.5

Full regression with release quality

mxc500-modelzoo.llm.diffusers-3.1.0.5

Full regression with release quality

mxc500-onnxruntime-3.1.0.5

Full regression with release quality

mxc500-modelzoo.cnn.inference-3.1.0.5

Full regression with release quality

mxc500-ms-swift-3.1.0.6

First release with release quality

mxc500-sglang-3.1.0.8

Full regression with release quality

mxc500-modelzoo.llm.sglang-3.1.0.9

First release with release quality

mxc500-vllm-3.1.0.7

Full regression with release quality

mxc500-modelzoo.llm.vllm-3.1.0.7

Full regression with release quality

1.1. 交付内容

此次发布包含以下内容:

  • 二进制文件,动态库和容器镜像文件

  • vLLM大模型推理框架

  • PPLLLM大模型推理引擎

  • DeepSpeed大模型训练框架

  • PaddlePaddle深度学习框架

  • ColossalAI大模型训练框架

  • Megatron-LM大模型训练框架

  • VeRL大模型训练框架

  • InternLM大模型训练框架

  • TritonInferenceServer推理框架

  • BitsAndBytes量化工具

  • MacaPrecision模型精度分析工具

  • MacaQuantizier量化工具

  • MacaConverter模型转换工具

  • Onnxruntime-maca推理引擎

  • TensorFlow机器学习框架

  • mmcv computer visios library

  • CV-CUDA计算机视觉加速库

  • XTuner大模型微调工具库

  • Ray开源的统一计算框架,旨在简化 Python 和 AI 应用的分布式计算

  • swift 微调推理框架

  • SGLang大模型推理框架

  • 《曦云® 系列通用计算GPU AI推理用户手册》

  • 《曦云® 系列通用计算GPU AI训练用户手册》