如题,用户那边使用的是5台设备,卡是N260,需要跑Qwen3-32B模型,需要一个本地部署的方案。
如题,用户那边使用的是5台设备,卡是N260,需要跑Qwen3-32B模型,需要一个本地部署的方案。
我在官网网站上下载了maca-vllm-metax-0.14.0-py310-3.5.3.102-linux-x86_64.tar.xz与配套推荐maca-pytorch2.8-py310-3.5.3.9-x86_64.tar.xz、
maca-pytorch2.6-py310-3.5.3.9-x86_64.tar.xz、maca-pytorch2.4-py310-3.5.3.9-x86_64.tar.xz进行了测试发现了一个问题,如图。0.0.22+metax3.5.3.9torch2.8 requires setuptools==69.5.1,而lmcache 0.3.12+maca3.5.3.102 requires setuptools<81.0.0,>=77.0.3,这里的setuptools版本明显是冲突的,这个问题有关系嘛?