metax-tech/DeepSeek-V3.2-W8A8,请问能提供int4量化版本的吗?
metax-tech/DeepSeek-V3.2-W8A8,请问能提供int4量化版本的吗?
请问这个镜像:sglang:0.5.7-maca.ai3.3.0.302-torch2.8-py310-kylinv11-amd64,支持deepseek v3.2吗?
另外,deepseek v3.2的awq或其他类型的int4量化吗?
谢谢!
这是我们最近遇到的最大困扰。而且多次联系所谓的商务对接人,都无法联系上。
请沐曦协助。
现在vllm-metax源代码已完全开源,但是缺少与之对应起来的依赖基础镜像,目前也无法获取到对应的镜像,该基础镜像有torch和ray的关键依赖,这两部分都是沐曦有改动和适配。如果缺少包含核心依赖的基础镜像,首先是无法正常构建上层镜像,无法快速验证开源代码,更导致想贡献代码到vllm-metax,也无法提前验证好。
现在已经开源了源代码,所以把每个版本的依赖提供出来,会更利于社区发展,也有利于作为沐曦卡的用户。