PDE AI Monthly Release 2.33.0.X is ready, please refer to developer community to get the latest version.
[Version info]
- ColossalAI 【2.33.0.11】【0.3.6】
- DeepSpeed 【2.33.0.11】【0.15.1】
- Megatron-LM 【2.33.0.11】【0.8/0.10】
- ONNXRuntime 【2.33.0.13】【1.12.0】
- PaddlePaddle 【2.33.0.11】【2.6.0】
- TensorFlow2 【2.33.0.11】【2.3.4】
- PPL.LLM.Serving【2.33.0.11】【None】
- vLLM 【2.33.0.13】【0.8.5】
- InternLM 【2.33.0.12】【0.2.1】
- BitsAndBytes 【2.33.0.11】【0.45.2】
- ModelZoo.CNN.Inference 【2.33.0.13】【1.0.0】
- ModelZoo.CNN.Training 【2.33.0.11】【1.0.0】
- ModelZoo.LLM.PPL 【2.33.0.11】【1.0.0】
- ModelZoo.LLM.vLLM 【2.33.0.13】【1.0.0】
- ModelZoo.LLM.Transformers【2.33.0.11】【1.0.0】
- ModelZoo.LLM.Diffusers 【2.33.0.12】【1.0.0】
- Diffusers.Training 【2.33.0.11】【0.28.0】
- MMCV 【2.33.0.11】【2.2.0】
- Triton-Inference-Server 【2.33.0.11】【24.06】
- CV-CUDA 【2.33.0.11】【0.7.0】
- XTuner 【2.33.0.12】【0.1.23】
- Ray-patch 【2.33.0.11】【2.46.0】
[Release Content]
DeepSpeed
- 更新llamafactory 0.9.2
- 增加了sequence parallel功能
- 增强代码安全性
Megatron-LM
- 去除0.6版本的发布，新增0.10版本发布
vLLM
- 支持Qwen3模型
InternLM
- 支持长序列训练
- 支持MoE模型训练
ModelZoo.LLM.vLLM
- 支持kvcache int8
- 支持w4a8量化模型
Ray-patch
- 使用公版ray+patch模式的首次发布
