14. 附录
14.1. 术语/缩略语
术语/缩略语 |
全称 |
说明 |
|---|---|---|
Batch |
全部样本里的一批数据 |
|
BFC |
Best-Fit with Coalescing |
一种内存管理策略 |
CpuEP |
CPU Execution Provider |
以CPU作为ONNX Runtime的后端进行模型推理 |
LLM |
Large Language Model |
大语言模型 |
MacaConverter |
沐曦研发，将训练的模型转换为ONNX模型的工具 |
|
MacaEP |
MXMACA Execution Provider |
以曦云系列GPU作为ONNX Runtime的后端进行模型推理 |
MacaPrecision |
沐曦研发，精度对比工具 |
|
MacaQuantizer |
沐曦研发，模型量化工具 |
|
MacaRT |
MXMACA Runtime |
沐曦研发，曦云系列GPU的推理引擎 |
ModelZoo |
模型库 |
|
ONNX |
Open Neural Network Exchange |
开放神经网络交换，表示深度学习模型的开放格式，可将训练好的模型存储为此格式 |
ONNX Runtime |
一个开源的跨平台推理框架 |
|
OpenPPL-LLM |
OpenPPL推出的大语言模型（LLM）推理引擎 |
|
PMX |
PPL Model Exchage |
OpenPPL模型转换工具 |
Tensor |
张量，是一种特殊的数据结构 |