服务器信息:银河麒麟 显卡 MetaX N260 2*64GB, 内存128GB。
sglang镜像:cr.metax-tech.com/public-init/minimax-h3/sglang-0.5.14-minimax-h3-0801
如何部署 MiniMax-H3 量化8模型。现在做了适配了吗?
服务器信息:银河麒麟 显卡 MetaX N260 2*64GB, 内存128GB。
sglang镜像:cr.metax-tech.com/public-init/minimax-h3/sglang-0.5.14-minimax-h3-0801
如何部署 MiniMax-H3 量化8模型。现在做了适配了吗?
尊敬的开发者您好,两张N260由于显存限制无法部署此模型