huanglu2518

新发布的vllm-metax:0.26.0镜像是否支持Deepseek-V4-Flash-W8A8的工具调用？之前的0.25.0版本不支持。

在沐曦C500单卡使用vllm-metax:0.19.0-maca.ai3.5.3.502-torch2.8-py310-ubuntu22.04-amd64镜像部署qwen3.5-35b-a3b-w8a8报错，显示错误信息为ValueError: Tokenizer class TokenizersBackend does not exist or is not currently imported.在modelscope上查看到阿里发布的qwen3.5-35b-a3b的"tokenizer_class": "Qwen2Tokenizer",沐曦量化过后的显示为 "tokenizer_class": "TokenizersBackend",应该选择哪个版本的镜像进行部署？

目前操作系统使用的是麒麟v10国防版，CPU使用的是海光7490，驱动版本为3.5.x.x，目前为了适配最新的DSV4模型，怎么升级驱动来适配最新的VLLM以及SGLang推理框架？

部署环境为：沐曦C500 8卡服务器*2、CPU-海光7490
运行环境：GPUStack V2.1.2 docker
模型为：Qwen3.5-235B-a8w8
模型运行镜像为：gpustack/runner:maca3.5-vllm0.14.0
在使用gpustack控制台手动设置运行节点的显卡为第2张卡时，报错了。
信息为如图所示，怀疑是在获取GPU Index时报错了。