使用C600系列N300卡进行小模型推理,c、c++语言sdk开发;
1、使用的sdk是否正确:
maca-sdk-3.9.1.6-rpm-x86_64.tar.xz
maca-onnxruntime-1.12.0-py310-3.9.0.12-linux-x86_64.tar.xz
2、是否支持异步推理?及推理请求submit后,可以通过轮询stream状态,或者回调的方式,查询推理是否完成,在完成后d2h推理结果;以便实现 推理->查询及结果获取的 pipeline,更好的协同cpu与gpu
3、多线程情况下,session使用场景是否理解正确:
1)多线程共享session,可以节约资源,但是存在锁等待,性能不是最佳;
2)每线程独立创建session,增加资源开销,如现存,但性能高;