MetaX-Tech Developer Forum 论坛首页
  • 沐曦开发者
search
Sign in
  • chevron_right Threads
  • label 产品&运维
  • label 已解决

vllm-metax:0.19.0-maca.ai3.5.3.502-torch2.8-py310-ubuntu22.04镜像部署qwen3.5-35b-a3b-w8a8报错

huanglu2518
2026年8月18日
chat_bubble_outline 1
  • link
    huanglu2518
    Members 7 posts
    2026年8月18日 21:38 2026年8月18日 21:38
    link

    在沐曦C500单卡使用vllm-metax:0.19.0-maca.ai3.5.3.502-torch2.8-py310-ubuntu22.04-amd64镜像部署qwen3.5-35b-a3b-w8a8报错,显示错误信息为ValueError: Tokenizer class TokenizersBackend does not exist or is not currently imported.在modelscope上查看到阿里发布的qwen3.5-35b-a3b的"tokenizer_class": "Qwen2Tokenizer",沐曦量化过后的显示为 "tokenizer_class": "TokenizersBackend",应该选择哪个版本的镜像进行部署?

  • arrow_forward

    Thread has been moved from 公共.

    • By shuai_chen on 2026年8月19日 10:39.
  • link
    shuai_chen
    Members 794 posts
    2026年8月19日 10:40 2026年8月19日 10:40
    link

    尊敬的开发者您好,请参考developer.metax-tech.com/forum/t/fa-tie-qian-bi-kan-jing-xiang-shi-yong-wen-ti-ti-wen-mo-ban/267/ 详细描述

  • arrow_forward

    Thread has been moved from 解决中.

    • By shuai_chen on 2026年8月24日 10:37.
arrow_upward Go to top
  • 沐曦开发者论坛
powered by misago