yumerio

www.modelscope.cn/models/cyankiwi/MiniMax-M3-AWQ-INT4
AWQ INT4是不是这个sglang不支持，8卡C500会报错ValueError: The layer_types entries must be in ('full_attention', 'sliding_attention', 'chunked_attention', 'compressed_sparse_attention', 'heavily_compressed_attention', 'linear_attention', 'conv', 'mamba', 'attention', 'sparse', 'dense', 'hybrid', 'moe') but got ['full_attention', 'full_attention', 'full_attention', 'minimax_m3_sparse', 'minimax_m3_sparse', 'minimax_m3_sparse', 'minimax_m3_sparse', 'minimax_m3_sparse', 'minimax_m3_sparse', 'minimax_m3_sparse', 'minimax_m3_sparse', 'minimax_m3_sparse', 'minimax_m3_sparse', 'minimax_m3_sparse', 'minimax_m3_sparse', 'minimax_m3_sparse', 'minimax_m3_sparse', 'minimax_m3_sparse', 'minimax_m3_sparse', 'minimax_m3_sparse', 'minimax_m3_sparse', 'minimax_m3_sparse', 'minimax_m3_sparse', 'minimax_m3_sparse', 'minimax_m3_sparse', 'minimax_m3_sparse', 'minimax_m3_sparse', 'minimax_m3_sparse', 'minimax_m3_sparse', 'minimax_m3_sparse', 'minimax_m3_sparse', 'minimax_m3_sparse', 'minimax_m3_sparse', 'minimax_m3_sparse', 'minimax_m3_sparse', 'minimax_m3_sparse', 'minimax_m3_sparse', 'minimax_m3_sparse', 'minimax_m3_sparse', 'minimax_m3_sparse', 'minimax_m3_sparse', 'minimax_m3_sparse', 'minimax_m3_sparse', 'minimax_m3_sparse', 'minimax_m3_sparse', 'minimax_m3_sparse', 'minimax_m3_sparse', 'minimax_m3_sparse', 'minimax_m3_sparse', 'minimax_m3_sparse', 'minimax_m3_sparse', 'minimax_m3_sparse', 'minimax_m3_sparse', 'minimax_m3_sparse', 'minimax_m3_sparse', 'minimax_m3_sparse', 'minimax_m3_sparse', 'minimax_m3_sparse', 'minimax_m3_sparse', 'minimax_m3_sparse']