1. 概述

1.1. mx-arena简介

mx-arena是一个基于开源arena项目做二次开发的工具,支持通过命令行方式在沐曦GPU卡上启动推理服务。

目前重点支持用2机16卡部署沐曦选定的热点模型(Qwen3.5-397B-A17B,GLM5.1,GLM5.2,GLM5.3,MiniMax-2.5,MiMo-V2-Flash,Deepseek-R1,DeepSeek-V3.1,DeepSeek-v3.2,DeepSeek-v4-Flash)。

更多模型待适配验证后发布。

1.2. 特性说明

mx-arena目前支持用如下LLM推理场景。

  • 用vllm单节点启动推理服务

    通过mx-arena,可以在单机8卡上PD一体部署可在单机部署的Qwen3等模型。

  • 用vllm跨节点启动推理服务

    通过mx-arena,可以在2机16卡上PD一体部署Qwen3.5,GLM(5.1,5.2,5.3),MiniMax-2.5,MiMo-V2-Flash,DeepSeek(R1,V3.1,V3.2,V4-flash)等模型推理服务。