你好:
我单位即将采购一台8卡C600,2TB内存的服务器,想要咨询一下部署GLM5.2(官方有Day0适配),deepseek V4 pro这两个大语言模型能否在单服务器正常运行并开启1M上下文,如果不能开启,请问256K的话支持多少并发,以及可用的框架
你好:
我单位即将采购一台8卡C600,2TB内存的服务器,想要咨询一下部署GLM5.2(官方有Day0适配),deepseek V4 pro这两个大语言模型能否在单服务器正常运行并开启1M上下文,如果不能开启,请问256K的话支持多少并发,以及可用的框架
尊敬的开发者您好,请通过Business@metax-tech.com 商务邮箱咨询