MetaX-Tech Developer Forum 论坛首页
  • 沐曦开发者
search
Sign in

huanglu2518

  • Members
  • Joined 2026年4月24日
  • message 帖子
  • forum 主题
  • favorite 关注者
  • favorite_border Follows
  • person_outline 详细信息

huanglu2518 has started 3 threads.

  • See post chevron_right
    huanglu2518
    Members
    vllm-metax:0.19.0-maca.ai3.5.3.502-torch2.8-py310-ubuntu22.04镜像部署qwen3.5-35b-a3b-w8a8报错 已解决 2026年8月18日 21:38

    在沐曦C500单卡使用vllm-metax:0.19.0-maca.ai3.5.3.502-torch2.8-py310-ubuntu22.04-amd64镜像部署qwen3.5-35b-a3b-w8a8报错,显示错误信息为ValueError: Tokenizer class TokenizersBackend does not exist or is not currently imported.在modelscope上查看到阿里发布的qwen3.5-35b-a3b的"tokenizer_class": "Qwen2Tokenizer",沐曦量化过后的显示为 "tokenizer_class": "TokenizersBackend",应该选择哪个版本的镜像进行部署?

  • See post chevron_right
    huanglu2518
    Members
    C500麒麟V10国防版驱动升级问题 已解决 2026年8月7日 12:01

    目前操作系统使用的是麒麟v10国防版,CPU使用的是海光7490,驱动版本为3.5.x.x,目前为了适配最新的DSV4模型,怎么升级驱动来适配最新的VLLM以及SGLang推理框架?

  • See post chevron_right
    huanglu2518
    Members
    GPUSatck v2.1.2手动分配C500显卡失败 已解决 2026年4月24日 18:04

    部署环境为:沐曦C500 8卡服务器*2、CPU-海光7490
    运行环境:GPUStack V2.1.2 docker
    模型为:Qwen3.5-235B-a8w8
    模型运行镜像为:gpustack/runner:maca3.5-vllm0.14.0
    在使用gpustack控制台手动设置运行节点的显卡为第2张卡时,报错了。
    信息为如图所示,怀疑是在获取GPU Index时报错了。

  • 沐曦开发者论坛
powered by misago