2. 新增特性及变更
本章列出历次发布的新增特性及变更。
2.1. V3.1.0.x
2.1.1. mcPy v3.1.0.5
无新增和变更特性,修复了reported bug。
2.1.2. mcDF v3.1.0.5
无新增和变更特性,修复了reported bug。
2.1.3. mcFaiss v3.1.0.5
无新增和变更特性,修复了reported bug。
2.1.4. MX-DCM v3.1.0.2
无新增功能。
2.2. V3.0.0.x
2.2.1. mcPy v3.0.0.1
无新增和变更特性,修复了reported bug。
2.2.2. mcDF v3.0.0.1
无新增和变更特性,修复了reported bug。
2.2.3. mcFaiss v3.0.0.1
无新增和变更特性,修复了reported bug。
2.2.4. MX-DCM v3.0.0.7
新增脚本启动容器:start_mxdcmd.sh。
mx-dcm diag,支持执行完查询结果。
2.3. V2.33.0.4
2.3.1. mcPy v2.33.0.4
新增自动化安装及MD5校验脚本,修复了reported bug。
2.3.2. mcDF v2.33.0.4
新增自动化安装及MD5校验脚本,修复了reported bug。
2.3.3. mcFaiss v2.33.0.4
新增自动化安装及MD5校验脚本,修复了reported bug。
2.3.4. MX-DCM v2.33.0.1
无新增功能。
2.4. V2.32.0.3
2.4.1. mcPy v2.32.0.3
新增支持MCCL功能,修复了reported bug。
2.4.2. mcDF v2.32.0.3
无新增和变更特性,修复了reported bug。
2.4.3. mcFaiss v2.32.0.3
无新增和变更特性,修复了reported bug。
2.4.4. MX-DCM v2.32.0.3
新增了MCCL压力测试和NIC网卡诊断功能。
2.5. V2.31.0.4
2.5.1. mcPy v2.31.0.4
无新增和变更特性,修复了reported bug。
2.5.2. mcDF v2.31.0.4
Dask-mcDF wheel包集成到mcDF软件包,修复了reported bug。
2.5.3. mcFaiss v2.31.0.4
无新增和变更特性,修复了reported bug。
2.6. V2.1.8.5+b2.29.0.15,v2.8.0.9+b2.29.0.15,2.1.12.1-2.29.0.3
2.6.1. mcPy v2.1.8.5+b2.29.0.15
无新增和变更特性,修复了reported bug。
2.6.2. mcDF v2.1.8.5+b2.29.0.15
新增支持Python3.10,修复了reported bug。
2.6.3. Dask-mcDF v2.1.8.5+b2.29.0.15
新增支持Python3.10,修复了reported bug。
2.6.4. mcFaiss v2.8.0.9+b2.29.0.15
新增支持Python3.10,修复了reported bug。
2.6.5. MX-DCM 2.1.12.1-2.29.0.3
新增支持MX-DCM工具。
2.7. V2.1.8.2+b2.27.0.11和v2.8.0.7+b2.27.0.11
2.7.1. mcPy v2.1.8.2+b2.27.0.11
新增支持Python3.10,修复了reported bug。
2.7.2. mcDF v2.1.8.2+b2.27.0.11
无新增和变更特性,修复了reported bug。
2.7.3. Dask-mcDF v2.1.8.2+b2.27.0.11
无新增和变更特性,修复了reported bug。
2.7.4. mcFaiss v2.8.0.7+b2.27.0.11
无新增和变更特性,修复了reported bug。
2.8. V2.1.7.9+b2.25.2.9和v2.8.0.5+b2.25.2.9
2.8.1. mcPy v2.1.7.9+b2.25.2.9
无新增和变更特性,修复了reported bug。
2.8.2. mcDF v2.1.7.9+b2.25.2.9
无新增和变更特性,修复了reported bug。
2.8.3. Dask-mcDF v2.1.7.9+b2.25.2.9
无新增和变更特性,修复了reported bug。
2.8.4. mcFaiss v2.8.0.5+b2.25.2.9
无新增和变更特性,修复了reported bug。
2.9. V2.1.7.2+b2.24.0.11和v2.8.0.3+b2.24.0.11
2.9.1. mcPy v2.1.7.2+b2.24.0.11
无新增和变更特性,修复了reported bug。
2.9.2. mcDF v2.1.7.2+b2.24.0.11
无新增和变更特性,修复了reported bug。
2.9.3. Dask-mcDF v2.1.7.2+b2.24.0.11
无新增和变更特性,修复了reported bug。
2.9.4. mcFaiss v2.8.0.3+b2.24.0.11
同步Faiss 1.8.0的版本改动,修复了reported bug。
2.9.5. spark-mxmap v2.1.7.2+b2.24.0.11
新增功能,首次发布。spark-mxmap 提供Spark on GPU插件。主要支持Spark SQL on GPU的执行;支持Spark XGBoost机器学习框架在GPU上的模型训练等,并在用户手册上进行了示例说明。
2.10. v2.1.6.4+b2.23.0.20和v2.7.4.3+b2.23.0.18
2.10.1. mcPy v2.1.6.4+b2.23.0.20
无新增和变更特性,修复了reported bug。
2.10.2. mcDF v2.1.6.4+b2.23.0.20
无新增和变更特性,修复了reported bug。
2.10.3. Dask-mcDF v2.1.6.4+b2.23.0.20
新增功能,首次发布。
2.10.4. mcFaiss v2.7.4.3+b2.23.0.18
无新增和变更特性,修复了reported bug。
2.11. V2.1.6.1+b2.22.0.5
无新增和变更特性,修复了reported bug。
2.12. V2.1.5.6
无新增和变更特性,修复了reported bug。
2.13. V2.1.3.9
2.13.1. mcPy
优化部分算子性能,修复reported bug。
2.13.2. mcDF
无新增和变更特性,修复reported bug。
2.14. V2.1.2.4
2.14.1. mcPy
优化部分算子性能,修复reported bug。
2.14.2. mcDF
优化IO性能,修复reported bug。
2.15. V2.1.1.4
无新增和变更特性,修复reported bug。
2.16. V2.1.1.1
无新增和变更特性,修复reported bug。
2.17. V2.0.12.3
2.17.1. mcDF
新增支持IO压缩和解压缩功能如下:
模块 |
Reader(解压缩算法) |
Writer(压缩算法) |
|---|---|---|
CSV |
AUTO |
NA |
GZIP |
||
ZIP |
||
BZIP2 |
||
JSON |
AUTO |
NA |
GZIP |
||
ZIP |
||
BZIP2 |
||
ORC |
ZLIB |
SNAPPY |
SNAPPY |
||
Parquet |
GZIP |
SNAPPY |
SNAPPY |
||
BROTLI |
||
AVRO |
DEFLATE |
NA |
SNAPPY |
2.18. V2.0.11.1
2.18.1. mcPy
mcpy.fft.irfft、mcpy.fft.hfft、mcpy.fft.irfftn、mcpy.fft.irfft2接口功能已修复正常。
在compute type 为
COMPUTE_TYPE_TF32时的mcpy.matmul接口功能已修复正常。
2.19. V2.0.10.1
2.19.1. mcPy
mcPy支持ndarray数据对象并提供相关的API接口,这些API接口与对应的NumPy API兼容。mcPy支持:
N维数组(ndarray):
mcpy.ndarray数据类型(dtypes):boolean(
bool_)、integer(int8,int16,int32,int64,uint8,uint16,uint32,uint64)、float(float16,float32,float64)和complex(complex64)支持与
numpy.ndarray相同的编程方式,包括基础索引、高级索引和广播NumPy例程
模块级函数:
mcpy.*线性代数函数:
mcpy.linalg.*快速傅里叶变换:
mcpy.fft.*随机数生成器:
mcpy.random.*
2.19.2. mcDF
mcDF支持包括loading、joining、aggregating、filtering以及其他数据操作接口。提供的API接口类似pandas对应功能的API接口。
2.19.3. mcFaiss
mcFaiss提供了Faiss的所有功能。支持多种向量搜索算法,包括IVF,LSH,PQ,HNSW等。支持多种语言的接口,包括Python,C++等。支持多种向量数据的应用,包括图像检索,文本检索,语音等。