1. 概述
1.1. mx-arena简介
mx-arena是一个基于开源arena项目做二次开发的工具,支持通过命令行方式在沐曦GPU卡上启动推理服务。
目前重点支持用2机16卡部署沐曦选定的热点模型(Qwen3.5-397B-A17B,GLM5.1,GLM5.2,GLM5.3,MiniMax-2.5,MiMo-V2-Flash,Deepseek-R1,DeepSeek-V3.1,DeepSeek-v3.2,DeepSeek-v4-Flash)。
更多模型待适配验证后发布。
1.2. 特性说明
mx-arena目前支持用如下LLM推理场景。
用vllm单节点启动推理服务
通过mx-arena,可以在单机8卡上PD一体部署可在单机部署的Qwen3等模型。
用vllm跨节点启动推理服务
通过mx-arena,可以在2机16卡上PD一体部署Qwen3.5,GLM(5.1,5.2,5.3),MiniMax-2.5,MiMo-V2-Flash,DeepSeek(R1,V3.1,V3.2,V4-flash)等模型推理服务。