请问这些量化模型支持vllm启动吗?
请问这些量化模型支持vllm启动吗?
尊敬的开发者您好,这些量化模型支持sglang启动。
请问这个镜像:sglang:0.5.7-maca.ai3.3.0.302-torch2.8-py310-kylinv11-amd64,支持deepseek v3.2吗?
另外,deepseek v3.2的awq或其他类型的int4量化吗?
谢谢!
metax-tech/DeepSeek-V3.2-W8A8,请问能提供int4量化版本的吗?
尊敬的开发者您好,该镜像支持deepseek v3.2。支持W8A8量化。
尊敬的开发者您好,请联系商务接口人申请