vllm metax0.10.2镜像已上线沐曦镜像下载中心
vllm metax0.10.2镜像已上线沐曦镜像下载中心
考虑到开发者需要镜像离线包下载需求,沐曦开发者社区镜像下载中心新增常用AI镜像离线包下载功能
常用AI镜像离线包如下:
训练框架:megatron-lm、deepspeed
推理框架:vllm、sglang、onnxruntime
ModelZoo:vllm、sglang、cnn training、cnn inference
镜像对应MACA版本均为3.1.x
AI镜像离线包下载链接有效期为八小时。
一、软硬件信息
1.服务器厂家:
2.沐曦GPU型号:
3.操作系统内核版本:
4.是否开启CPU虚拟化:
5.mx-smi回显:
二、问题现象
请描述详细的问题现象日志。若日志过长,请上传附件(txt格式)。
一、软硬件信息
1.服务器厂家:
2.沐曦GPU型号:
3.操作系统内核版本:
4.是否开启CPU虚拟化:
5.mx-smi回显:
6.docker info回显:
7.镜像版本:
8.启动容器命令:
9.容器内执行命令:
二、问题现象
请描述详细的问题现象日志。若日志过长,请上传附件(txt格式)。