huanglu2518

在沐曦C500单卡使用vllm-metax:0.19.0-maca.ai3.5.3.502-torch2.8-py310-ubuntu22.04-amd64镜像部署qwen3.5-35b-a3b-w8a8报错，显示错误信息为ValueError: Tokenizer class TokenizersBackend does not exist or is not currently imported.在modelscope上查看到阿里发布的qwen3.5-35b-a3b的"tokenizer_class": "Qwen2Tokenizer",沐曦量化过后的显示为 "tokenizer_class": "TokenizersBackend",应该选择哪个版本的镜像进行部署？

应该下载哪个版本的驱动？KylinV10SP2还是KylinV11?

应该下载哪个版本的驱动？KylinV10SP2还是KylinV11?

目前操作系统使用的是麒麟v10国防版，CPU使用的是海光7490，驱动版本为3.5.x.x，目前为了适配最新的DSV4模型，怎么升级驱动来适配最新的VLLM以及SGLang推理框架？

这个个人主题在哪里开通，能否私信您。

这个跟咱们的技术支持沟通后，让发在这里找下问题解决办法。这个是属于C500和海光7490的适配问题，不属于GPUStack的问题。

部署环境为：沐曦C500 8卡服务器*2、CPU-海光7490
运行环境：GPUStack V2.1.2 docker
模型为：Qwen3.5-235B-a8w8
模型运行镜像为：gpustack/runner:maca3.5-vllm0.14.0
在使用gpustack控制台手动设置运行节点的显卡为第2张卡时，报错了。
信息为如图所示，怀疑是在获取GPU Index时报错了。