尊敬的开发者您好,请给出详细报错日志
尊敬的开发者您好,请在容器内执行pip install transformers==5.2.0,不要省略.0
尊敬的开发者您好,问题回复如下
Q1:想跑个新点的开源模型是真的难啊, 要等你们官方的vllm-metax镜像,基本要等两个月。。。
A1:由于官方的vllm-metax镜像需要进行质量测试,发布周期较慢。若需跑新开源的模型,请参考github.com/MetaX-MACA/vLLM-metax Readme文档或联系商务接口人申请新开源模型POC镜像
Q2:谁能把这个事情说清楚啊, maca, mcoplib, pytorch, metax-vllm这些版本的依赖关系啊。。。
A2:请参考github.com/MetaX-MACA/vLLM-metax Readme文档以及相关python依赖库文件,有详细的版本依赖关系
Q3:性能也跑不满, 跟上新的模型也跟不上。
A3:由于官方的vllm-metax镜像需要进行质量测试,发布周期较慢。请参考developer.metax-tech.com/forum/t/fa-tie-qian-bi-kan-jing-xiang-shi-yong-wen-ti-ti-wen-mo-ban/267/ 提供您的运行细节,便于定位性能问题。
Q4:比如,你们发布了 vllm-metax:0.15.0-maca.ai3.5.3.203-torch2.8-py312-ubuntu22.04-amd64, 集群上node全是 MACA Version: 3.3.x版本的,能跑不?
A4:MACA版本向下兼容可以运行
尊敬的开发者您好,请在容器内执行pip install transformers==5.2.0
尊敬的开发者您好,请将transformers版本升到5.2.0版本
尊敬的开发者您好,是的,您容器内更新transformers版本commit镜像或使用dockerfile build镜像制作镜像。vllm-metax镜像内的transformers版本和vllm社区版本报错一致。
尊敬的开发者您好,请将transformers版本升到5.2.0
尊敬的开发者您好,arm镜像需要审批获取,请联系商务接口人进行审批
尊敬的开发者您好,量化权重是不通用的
尊敬的开发者您好,当前sglang镜像未适配qwen3.5,等待后续镜像发布
尊敬的开发者您好,这个仅支持sglang
尊敬的开发者您好,您是如何量化权重的
尊敬的开发者您好,请参考vllm社区官方文档自行量化,此链接您可以尝试
尊敬的开发者您好,请将transformers版本升到5.2.0
尊敬的开发者您好,需要升级transformers版本
尊敬的开发者您好,请参考论坛置顶镜像类问题提问模板补充相关信息