使用onnxrt的C++api推理onnx模型时的报错,这是用户端能解决的bug吗,要怎么去排查呢?
此外还有搭建稀疏卷积推理时的报错,通过《曦云系列_通用计算GPU_运行时API编程指南_CN_V12》查阅到pri_mem_size最大也只能设置到36KB,那么该如何实现稀疏卷积65KB要求的推理呢?
尊敬的开发者您好,可以提供相关推理代码以及模型吗
onnxrt推理代码按照《曦云系列_通用计算GPU_AI推理用户手册_CN_V08》,模型来自github.com/mit-han-lab/bevfusion 中的bev模型
尊敬的开发者您好,麻烦您提供芯片型号、操作系统、驱动版本、容器版本以及代码文件上传到附件
显卡: MetaX C500
系统:ubuntu OS: Ubuntu 22.04.4 LTS
kernel: 5.15.0-119-generic
驱动:metax-driver-mxc500-2.33.0.9-deb-x86_64
容器:cr.metax-tech.com/public-ai-release/c500/onnxruntime:maca2.32.0.6-torch2.1-py310-ubuntu22.04-amd64(onnxrt推理camera_backbone)
cr.metax-tech.com/public-ai-release/c500/mmcv:maca2.32.0.5-torch2.1-py310-ubuntu22.04-amd64(python推理稀疏卷积)
尊敬的开发者您好,问题正在进行分析。若需加快节奏,请联系对接的sales。
尊敬的开发者您好,麻烦提供芯片型号、操作系统、操作系统内核版本、驱动版本、Docker版本、镜像名称、容器启动命令、程序启动命令。若需加快节奏,请联系对接的sales。
显卡: MetaX C500
系统:ubuntu OS: Ubuntu 22.04.4 LTS
kernel: 5.15.0-119-generic
驱动:metax-driver-mxc500-2.33.0.9-deb-x86_64
容器:cr.metax-tech.com/public-ai-release/c500/onnxruntime:maca2.32.0.6-torch2.1-py310-ubuntu22.04-amd64
容器启动命令:docker run -itd --device=/dev/dri --device=/dev/mxcd --group-add video --network=host --name onnxrt --security-opt seccomp=unconfined --security-opt apparmor=unconfined --shm-size 100gb --ulimit memlock=-1 -v /data:/data -v /local:/local cr.metax-tech.com/public-ai-release/c500/onnxruntime:maca2.32.0.6-torch2.1-py310-ubuntu22.04-amd64
请问一下针对这个问题,可以通过增大shared memory大小解决吗,看起来像是超过64k大小的限制,如果可以的话怎么改大呢
尊敬的开发者您好,shared memory大小不能超过64k
请问是上限就是64k,不能再增加了吗?
尊敬的开发者您好,shared memory大小不能超过64k
那请问针对需求超过64k的,有其他支持推理的方法吗
尊敬的开发者您好,请联系对应的sales进行跟进