PDE AI Monthly Release 3.0.0.X is ready, please refer to developer community to get the latest version.
[Version info]
- ColossalAI 【3.0.0.6】【0.5.0】
- DeepSpeed 【3.0.0.5】【0.16.5】
- Megatron-LM 【3.0.0.5】【0.8/0.10/0.12】
- ONNXRuntime 【3.0.0.5】【1.12.0】
- PaddlePaddle 【3.0.0.5】【2.6.0】
- TensorFlow2 【3.0.0.5】【2.3.4】
- vLLM 【3.0.0.5】【0.9.1】
- InternLM 【3.0.0.5】【0.2.1】
- BitsAndBytes 【3.0.0.5】【0.45.2】
- ModelZoo.CNN.Inference 【3.0.0.5】【1.0.0】
- ModelZoo.CNN.Training 【3.0.0.5】【1.0.0】
- ModelZoo.LLM.PPL 【3.0.0.5】【1.0.0】
- ModelZoo.LLM.vLLM 【3.0.0.5】【1.0.0】
- ModelZoo.LLM.Transformers【3.0.0.5】【1.0.0】
- ModelZoo.LLM.Diffusers 【3.0.0.5】【1.0.0】
- Diffusers.Training 【3.0.0.5】【0.28.0】
- MMCV 【3.0.0.5】【2.2.0】
- Triton-Inference-Server 【3.0.0.5】【2.56】
- CV-CUDA 【3.0.0.5】【0.7.0】
- XTuner 【3.0.0.6】【0..2.0】
- Ray-patch 【3.0.0.5】【2.46.0】
[Release Content]
Megatron-LM
- 新增0.12版本发布
vLLM
- 文心一言模型
- Deepseek模型多机使用TP+DP
ModelZoo.LLM.vLLM
- 新增internvl-2.5-26b
- 文心一言模型
- benchmark_serving.py支持多模态模型
配套Pytorch版本升级到2.4
- 包含组件Onnxruntime、InternLM、Modelzoo.CNN.Inference、Modelzoo.CNN.Transformers、MMCV、CV-CUDA