您好我也是c500+qwen 3.5
我现在是一张卡所以需要量化，不知道选哪个quantiazation 其中fp8 gptq都试过了 好像也运行不起来
并且
按照您之前说的下载了metax_vllm 0.15.0 torch2.8的镜像
并且更新了transformers5.2.0
但是随后pip也报错vllm需要torch==2.9.1 并且transformers<5，>4.56.0
不知道这个版本是否影响
19299369422
- Members
- Joined 2026年4月7日
-
您好，请问w8a8是要自己转吗？
ai.gitcode.com/Eco-Tech/Qwen3.5-35B-A3B-w8a8-mtp/tree/master
这个链接的可以用吗？