MetaX-Tech Developer Forum 论坛首页
  • 沐曦开发者
search
Sign in
  • chevron_right Threads
  • label 产品&运维
  • label 解决中

有人成功在vllm上運行gemma4嗎

EddieMan
2026年7月7日
chat_bubble_outline 5
  • link
    EddieMan
    Members 4 posts
    2026年7月7日 20:02 2026年7月7日 20:02
    link

    以經使用最新版本的vllm_metax(0.21.0)鏡像,但transformers只有4.57.0。gemma4只有5.5以上才支持
    image.png

  • arrow_forward

    Thread has been moved from 公共.

    • By shuai_chen on 2026年7月7日 20:09.
  • link
    shuai_chen
    Members 650 posts
    2026年7月7日 20:10 2026年7月7日 20:10
    link

    尊敬的开发者您好,请升级transformers版本尝试

  • link
    EddieMan
    Members 4 posts
    2026年7月8日 09:16 2026年7月8日 09:16
    link

    使用pip來更新transformers出現下列問題
    image.png

    再報行vllm時在這一步等很久也沒有回應:
    image.png

  • link
    shuai_chen
    Members 650 posts
    2026年7月8日 10:34 2026年7月8日 10:34
    link

    尊敬的开发者您好,请通过商务渠道获取定制镜像运行

  • link
    EddieMan
    Members 4 posts
    2026年7月8日 10:43 2026年7月8日 10:43
    link

    是在镜像资源中下戴嗎? 但0.21.0已經是最新的了
    developer.metax-tech.com/softnova/docker?chip_name=%E6%9B%A6%E4%BA%91C500%E7%B3%BB%E5%88%97&package_kind=AI&dimension=docker&deliver_type=%E5%88%86%E5%B1%82%E5%8C%85&ai_frame=vllm-metax

  • link
    shuai_chen
    Members 650 posts
    2026年7月8日 10:45 2026年7月8日 10:45
    link

    尊敬的开发者您好,请通过商务渠道获取定制镜像运行,镜像中心镜像暂不支持

arrow_upward Go to top
  • 沐曦开发者论坛
powered by misago