0,1,2,3,5,6,7 都正常启动小模型,到4报错了
tp 8 的时候报错,我可以尝试调低,但是这是否意味着其他的也要跟着调整,比如上下文长度
8卡C500是否可以部署minimax2.7, 是否可以提供vllm启动参数,是不是int8可以