Sarahta

已发贴了。

如题，用户那边使用的是5台设备，卡是N260，需要跑Qwen3-32B模型，需要一个本地部署的方案。

您的意思这两个库是可选的是吧，我这边得选vllm来跑千问，但是跑不起来，import vllm的时候说没有库，我装的是这两个版本maca-vllm-metax-0.15.0-py310-3.5.3.203-linux-x86_64.tar.xz、maca-vllm-metax-0.14.0-py310-3.5.3.102-linux-x86_64.tar.xz

xformers在配套推荐maca-pytorch2.8-py310-3.5.3.9-x86_64.tar.xz的压缩包里面啊，也包括2.4和2.6里，xformers用不上嘛？

我在官网网站上下载了maca-vllm-metax-0.14.0-py310-3.5.3.102-linux-x86_64.tar.xz与配套推荐maca-pytorch2.8-py310-3.5.3.9-x86_64.tar.xz、
maca-pytorch2.6-py310-3.5.3.9-x86_64.tar.xz、maca-pytorch2.4-py310-3.5.3.9-x86_64.tar.xz进行了测试发现了一个问题，如图。0.0.22+metax3.5.3.9torch2.8 requires setuptools==69.5.1，而lmcache 0.3.12+maca3.5.3.102 requires setuptools<81.0.0,>=77.0.3，这里的setuptools版本明显是冲突的，这个问题有关系嘛？