目录

目录

• 1. 概述
  • 1.1. MacaRT介绍
  • 1.2. MacaRT功能
• 2. 环境依赖及MacaRT安装
  • 2.1. 环境依赖
  • 2.2. 安装MacaRT
    • 2.2.1. MacaRT C++
    • 2.2.2. MacaRT Python
  • 2.3. 使用MacaRT容器镜像
• 3. MacaRT C++ API
  • 3.1. 部署ONNX模型
    • 3.1.1. 创建Session
    • 3.1.2. 获取模型图的输入输出信息
    • 3.1.3. 构建模型输入Tensors
    • 3.1.4. 获取模型输出Tensors
  • 3.2. 绑定输入输出设备
    • 3.2.1. 绑定输入输出数据到可分页内存上
    • 3.2.2. 绑定输入输出数据到固页内存上
    • 3.2.3. 绑定输入输出数据到显存上
  • 3.3. 动态Batch推理
  • 3.4. 提升曦云系列GPU推理性能
    • 3.4.1. 设备ID
    • 3.4.2. MacaRT显存管理
  • 3.5. 自定义算子
    • 3.5.1. Domain的定义
    • 3.5.2. Kernel输入输出的数据排布
• 4. MacaRT Python API
  • 4.1. 部署ONNX模型
    • 4.1.1. 创建Session
    • 4.1.2. 获取模型图的输入输出信息
    • 4.1.3. 构建模型输入字典
    • 4.1.4. 获取模型输出
  • 4.2. 绑定输入输出设备
    • 4.2.1. 绑定输入输出数据到可分页内存上
    • 4.2.2. 绑定输入输出数据到固页内存上
    • 4.2.3. 绑定输入输出数据到显存上
  • 4.3. 动态Batch推理
  • 4.4. 提升曦云系列GPU推理性能
    • 4.4.1. 设备ID设置
• 5. MacaRT工具链
  • 5.1. MacaConverter
    • 5.1.1. 安装
    • 5.1.2. 功能列表
    • 5.1.3. 使用说明
      • 5.1.3.1. Caffe模型转ONNX模型
      • 5.1.3.2. TensorFlow（H5）模型转ONNX模型
      • 5.1.3.3. TensorFlow（SavedModel）模型转ONNX模型
      • 5.1.3.4. TensorFlow（CheckPoint）模型转ONNX模型
      • 5.1.3.5. TensorFlow（pb）模型转ONNX模型
      • 5.1.3.6. PyTorch模型转ONNX模型（输入包含模型定义和权重）
      • 5.1.3.7. PyTorch模型转ONNX模型（输入仅包含权重）
      • 5.1.3.8. PyTorch模型转ONNX模型（输入仅包含权重，且模型定义在Torchvision中）
      • 5.1.3.9. Darknet模型转ONNX模型
      • 5.1.3.10. PaddlePaddle模型转ONNX模型（输入包含权重和定义）
      • 5.1.3.11. PaddlePaddle模型转ONNX模型（输入仅包含权重）
      • 5.1.3.12. PaddlePaddle模型转ONNX模型（输入仅包含权重，模型在paddle.vision中定义）
      • 5.1.3.13. 动态Batch转换
      • 5.1.3.14. ONNX简化
      • 5.1.3.15. FP32转FP16
      • 5.1.3.16. 子图提取
      • 5.1.3.17. op_set版本转换
      • 5.1.3.18. Pad融合
      • 5.1.3.19. Float32转Uint8（仅针对模型的input数据，非所有算子）
      • 5.1.3.20. MatMul+Add融合为Gemm
      • 5.1.3.21. MHA融合
  • 5.2. MacaPrecision
    • 5.2.1. 安装
    • 5.2.2. 使用说明
      • 5.2.2.1. 常规模型（FP32/FP16）
      • 5.2.2.2. 量化模型（经过MacaQuantizer量化后的模型）
  • 5.3. MacaQuantizer
    • 5.3.1. 安装
    • 5.3.2. 使用说明
      • 5.3.2.1. 预处理说明
      • 5.3.2.2. dataset.txt文本格式说明
    • 5.3.3. 注意事项
• 6. MacaRT-LLM
  • 6.1. MacaRT-LLM介绍
  • 6.2. MacaRT-LLM功能
  • 6.3. MacaRT-LLM使用流程
    • 6.3.1. 模型转换
      • 6.3.1.1. 安装
      • 6.3.1.2. 转换为PMX模型
      • 6.3.1.3. 模型切分
      • 6.3.1.4. 模型合并（可选）
      • 6.3.1.5. PMX模型测试
      • 6.3.1.6. 导出为ONNX模型
    • 6.3.2. 本地模型部署精度验证
    • 6.3.3. 本地模型部署性能测试
    • 6.3.4. 服务化部署
      • 6.3.4.1. 服务端部署
      • 6.3.4.2. C++客户端部署
      • 6.3.4.3. Python客户端部署
      • 6.3.4.4. 服务端输出性能数据解析
• 7. MacaRT-vLLM
  • 7.1. MacaRT-vLLM介绍
  • 7.2. MacaRT-vLLM功能与局限性
  • 7.3. MacaRT-vLLM使用流程
    • 7.3.1. 环境准备
      • 7.3.1.1. 使用vLLM镜像
      • 7.3.1.2. 安装wheel包
      • 7.3.1.3. 配置环境变量
    • 7.3.2. 离线推理
    • 7.3.3. 吞吐测试
    • 7.3.4. Server服务
• 8. MacaRT-ModelZoo
  • 8.1. MacaRT-ModelZoo介绍
  • 8.2. 模型评测条件
  • 8.3. 代码目录结构及说明
  • 8.4. 源码、模型和数据集
    • 8.4.1. 源码镜像获取
    • 8.4.2. 模型获取
    • 8.4.3. 数据集获取
  • 8.5. 模型评测步骤
    • 8.5.1. 启动容器镜像
    • 8.5.2. 建立数据集的关联
    • 8.5.3. 执行模型评测
• 9. MacaRT-LMDeploy
  • 9.1. MacaRT-LMDeploy介绍
  • 9.2. MacaRT-LMDeploy功能与局限性
  • 9.3. MacaRT-LMDeploy使用流程
    • 9.3.1. 环境准备
      • 9.3.1.1. 获取vLLM镜像
      • 9.3.1.2. 安装dlinfer
      • 9.3.1.3. 安装LMDeploy
    • 9.3.2. 离线推理
    • 9.3.3. 静态推理性能测试
    • 9.3.4. Server服务动态推理性能测试
• 10. Diffusers
• 11. Transformers
• 12. MacaRT-SGLang
  • 12.1. MacaRT-SGLang介绍
  • 12.2. MacaRT-SGLang功能
  • 12.3. MacaRT-SGLang使用流程
    • 12.3.1. 环境准备
      • 12.3.1.1. 使用SGLang镜像
      • 12.3.1.2. 设置环境变量
      • 12.3.1.3. 启动Server
    • 12.3.2. 在线推理
    • 12.3.3. 吞吐测试
    • 12.3.4. 精度测试
      • 12.3.4.1. MMLU精度测试
      • 12.3.4.2. C-Eval精度测试
• 13. 附录
  • 13.1. 术语/缩略语