4. 推理服务部署参数说明

本章介绍通过mx-arena部署推理服务时需要用到的指令及其重点参数。

4.1. mx-arena serve custom

mx-arena通过 mx-arena serve custom 命令在单节点上部署千问推理模型服务。

mx-arena serve custom [flags]

flags 用来给mx-arena传递运行所需的参数，可通过命令 mx-arena serve custom -h 查看目前支持的所有flag列表。

下面介绍几个重点flag。

表 4.1 mx-arena serve custom 参数说明
flags	说明
–command	指定容器内需要运行的命令
–env	需要注入的环境变量，用法：”–env envName=envValue”
–image	任务的image名
–gpus	指定运行任务所需的最小GPU数
–help	查看custom命令的帮助信息

mx-arena 通过 mx-arena serve distributed 命令跨节点部署千问推理模型服务。

mx-arena serve distributed [flags]

flags 用来给mx-arena传递运行所需的参数，可通过命令 mx-arena serve distributed -h 查看目前支持的所有flag列表。

下面介绍几个重点flag。

表 4.2 mx-arena serve distributed 参数说明
flags	说明
–master-command	指定master容器内需要运行的命令
–master-gpus	指定master容器内运行任务所需的最小GPU数
–worker-command	指定worker容器内需要运行的命令
–worker-gpus	指定worker容器内运行任务所需的最小GPU数
–env	需要注入的环境变量，用法：”–env envName=envValue”
–image	任务的镜像名
–data-dir	指定宿主机模型数据所在目录和需要挂载到容器中的目录，格式host_path:mount_point_on_job
–enable-hostnetwork	标识是否和宿主机共享网络
–nic-configmap	指定包含宿主机名和网卡配置信息的configmap名
–help	查看custom命令的帮助信息

mx-arena serve list命令用于显示所有的serve任务。

mx-arena serve list [flags]

flags 用来给mx-arena传递运行所需的参数，可通过命令 mx-arena serve list -h 查看目前支持的所有flag列表。

下面介绍几个重点flag。

表 4.3 mx-arena serve list说明
mx-arena	说明
-o	指定output格式，可以是 json\|yaml\|wide, 默认是wide
-A	显示所有namespace下的serve任务
-n	显示指定命令空间的任务

mx-arena serve delete命令用户删除指定的serve任务。

mx-arena serve delete JOB1 JOB2 ... JOBn

flags 用来给mx-arena传递运行所需的参数，可通过命令 mx-arena serve delete -h 查看目前支持的所有flag列表。

下面介绍几个重点flag。

表 4.4 mx-arena serve delete
mx-arena	说明
-o	指定output格式，可以是 json\|yaml\|wide, 默认是wide
-A	显示所有namespace下的serve任务
-n	显示指定命令空间的任务