服务器信息:银河麒麟 显卡 MetaX N260 2*64GB, 内存128GB。
sglang镜像:cr.metax-tech.com/public-init/minimax-h3/sglang-0.5.14-minimax-h3-0801
如何部署 MiniMax-H3 量化8模型。现在做了适配了吗?
服务器信息:银河麒麟 显卡 MetaX N260 2*64GB, 内存128GB。
sglang镜像:cr.metax-tech.com/public-init/minimax-h3/sglang-0.5.14-minimax-h3-0801
如何部署 MiniMax-H3 量化8模型。现在做了适配了吗?