MetaX-Tech Developer Forum 论坛首页
  • 沐曦开发者
search
Sign in

shuai_chen

  • Members
  • Joined 2025年6月27日
  • message 帖子
  • forum 主题
  • favorite 关注者
  • favorite_border Follows
  • person_outline 详细信息

shuai_chen has posted 313 messages.

  • See post chevron_right
    shuai_chen
    Members
    qwen3.5 适配问题-c500 解决中 2026年4月8日 19:13
    @wangshengpe has written:

    命令(pip install transformers==5.2.0) 没有省略,只是在回复中省略了 .0

    尊敬的开发者您好,请给出详细报错日志

  • See post chevron_right
    shuai_chen
    Members
    qwen3.5 适配问题-c500 解决中 2026年4月8日 19:11
    @wangshengpe has written:

    当我更新 transformers == 5.2 后,会遭遇 github.com/vllm-project/vllm/issues/35945,

    当我继续更新 vllm 等组件时,没有可以成功的版本。

    请问有经过测试的套件版本吗?

    尊敬的开发者您好,请在容器内执行pip install transformers==5.2.0,不要省略.0

  • See post chevron_right
    shuai_chen
    Members
    maca, metax-vllm, mcoplib, pytorch 版本问题 解决中 2026年4月8日 18:22

    尊敬的开发者您好,问题回复如下
    Q1:想跑个新点的开源模型是真的难啊, 要等你们官方的vllm-metax镜像,基本要等两个月。。。
    A1:由于官方的vllm-metax镜像需要进行质量测试,发布周期较慢。若需跑新开源的模型,请参考github.com/MetaX-MACA/vLLM-metax Readme文档或联系商务接口人申请新开源模型POC镜像
    Q2:谁能把这个事情说清楚啊, maca, mcoplib, pytorch, metax-vllm这些版本的依赖关系啊。。。
    A2:请参考github.com/MetaX-MACA/vLLM-metax Readme文档以及相关python依赖库文件,有详细的版本依赖关系
    Q3:性能也跑不满, 跟上新的模型也跟不上。
    A3:由于官方的vllm-metax镜像需要进行质量测试,发布周期较慢。请参考developer.metax-tech.com/forum/t/fa-tie-qian-bi-kan-jing-xiang-shi-yong-wen-ti-ti-wen-mo-ban/267/ 提供您的运行细节,便于定位性能问题。
    Q4:比如,你们发布了 vllm-metax:0.15.0-maca.ai3.5.3.203-torch2.8-py312-ubuntu22.04-amd64, 集群上node全是 MACA Version: 3.3.x版本的,能跑不?
    A4:MACA版本向下兼容可以运行

  • See post chevron_right
    shuai_chen
    Members
    qwen3.5 适配问题-c500 解决中 2026年4月8日 17:11
    @wangshengpe has written:

    请您再看一下该报错。

    vllm-metax 依赖了老版本的transformers, 但是 qwen3.5 需要更新 transformers, vllm-metax 更新时依旧依赖 4x 的transformers。

    请问这该如何解决?

    尊敬的开发者您好,请在容器内执行pip install transformers==5.2.0

  • See post chevron_right
    shuai_chen
    Members
    qwen3.5 适配问题-c500 解决中 2026年4月8日 17:00
    @wangshengpe has written:

    且当我尝试更新 transformers 时,存在依赖问题:

    vllm-metax 0.15.0+g24fb31.d20260310.maca3.5.3.20.torch2.8 requires transformers<5,>=4.56.0, but you have transformers 5.5.0 which is incompatible.

    尊敬的开发者您好,请将transformers版本升到5.2.0版本

  • See post chevron_right
    shuai_chen
    Members
    qwen3.5 适配问题-c500 解决中 2026年4月8日 16:59

    尊敬的开发者您好,是的,您容器内更新transformers版本commit镜像或使用dockerfile build镜像制作镜像。vllm-metax镜像内的transformers版本和vllm社区版本报错一致。

  • See post chevron_right
    shuai_chen
    Members
    qwen3.5 适配问题-c500 解决中 2026年4月8日 16:47

    尊敬的开发者您好,请将transformers版本升到5.2.0

  • See post chevron_right
    shuai_chen
    Members
    镜像包下载 已解决 2026年4月8日 15:51

    尊敬的开发者您好,点击链接即可下载developer.metax-tech.com/softnova/docker?chip_name=%E6%9B%A6%E4%BA%91C500%E7%B3%BB%E5%88%97&package_name=vllm-metax:0.12.0-maca.ai3.3.0.204-torch2.8-py310-kylinv11-amd64

  • See post chevron_right
    shuai_chen
    Members
    METAX C600 已解决 2026年4月8日 15:32

    尊敬的开发者您好,已通过个人主题回复,请您查阅。

  • See post chevron_right
    shuai_chen
    Members
    GLM-5和Qwen3.5系类模型适配 已解决 2026年4月8日 15:18

    尊敬的开发者您好,arm镜像需要审批获取,请联系商务接口人进行审批

  • See post chevron_right
    shuai_chen
    Members
    Qwen3.5-397B-A17B-W8A8运行报错 已解决 2026年4月7日 17:36

    尊敬的开发者您好,量化权重是不通用的

  • See post chevron_right
    shuai_chen
    Members
    Qwen3.5-397B-A17B-W8A8运行报错 已解决 2026年4月7日 17:13

    尊敬的开发者您好,当前sglang镜像未适配qwen3.5,等待后续镜像发布

  • See post chevron_right
    shuai_chen
    Members
    Qwen3.5-397B-A17B-W8A8运行报错 已解决 2026年4月7日 16:19
    @OverS9982 has written:

    使用的是贵公司在魔搭社区上发布的Qwen3.5-397B-A17B-W8A8 量化权重
    URL:modelscope.cn/models/metax-tech/Qwen3.5-397B-A17B-W8A8

    尊敬的开发者您好,这个仅支持sglang

  • See post chevron_right
    shuai_chen
    Members
    Qwen3.5-397B-A17B-W8A8运行报错 已解决 2026年4月7日 16:14

    尊敬的开发者您好,您是如何量化权重的

  • See post chevron_right
    shuai_chen
    Members
    Qwen3.5-35B-A3B-FP8运行报错,是还不支持吗? 已解决 2026年4月7日 16:13

    尊敬的开发者您好,请参考vllm社区官方文档自行量化,此链接您可以尝试

  • See post chevron_right
    shuai_chen
    Members
    Qwen3.5-397B-A17B-W8A8运行报错 已解决 2026年4月7日 14:17

    尊敬的开发者您好,请将transformers版本升到5.2.0

  • See post chevron_right
    shuai_chen
    Members
    Qwen3.5-397B-A17B-W8A8运行报错 已解决 2026年4月7日 13:31

    尊敬的开发者您好,需要升级transformers版本

  • See post chevron_right
    shuai_chen
    Members
    在MXC500上部署MiniMax M2.5模型时报错 解决中 2026年4月7日 09:53

    尊敬的开发者您好,请参考论坛置顶镜像类问题提问模板补充相关信息

  • 沐曦开发者论坛
powered by misago