沐曦通用GPU mx-arena用户指南
1. 概述
1.1. mx-arena简介
1.2. 特性说明
2. 推理服务部署快速上手
2.1. mx-arena 安装
2.2. 单节点部署千问推理
2.2.1. 核心参数说明
2.2.1.1. –gpus
2.2.1.2. –data-dir
2.2.1.3. –image
2.2.2. 命令示例
2.2.3. 状态查询
2.2.4. 使用示例
2.2.5. 删除推理服务
2.3. 两节点部署千问模型
2.3.1. 安装lws
2.3.2. 核心参数说明
2.3.2.1. –nic-configmap
2.3.2.2. –enable-hostnetwork
2.3.2.3. –master-gpus/–worker-gpus
2.3.2.4. –masters/–workers
2.3.3. 命令示例
2.3.4. 状态查询
2.3.5. 使用示例
2.3.6. 删除推理服务
3. 安装与卸载
3.1. 安装 mx-arena
3.1.1. 软件包获取
3.1.2. 安装步骤
3.2. 卸载 mx-arena
4. 推理服务部署参数说明
4.1. mx-arena serve custom
4.1.1. 用法
4.1.1.1. flags
4.2. mx-arena serve distributed
4.2.1. 用法
4.2.1.1. flags
4.3. mx-arena serve list
4.3.1. 用法
4.4. mx-arena serve delete
4.4.1. 用法
沐曦通用GPU mx-arena用户指南
索引
索引