MetaX-Tech Developer Forum 论坛首页
  • 沐曦开发者
search
Sign in

TuQiang

  • Members
  • Joined 2026年10月31日
  • message 帖子
  • forum 主题
  • favorite 关注者
  • favorite_border Follows
  • person_outline 详细信息

TuQiang has posted 1 message.

  • See post chevron_right
    TuQiang
    Members
    沐熙C600小模型推理SDK开发问题 已解决 2026年10月31日 16:24

    使用C600系列N300卡进行小模型推理,c、c++语言sdk开发;

    1、使用的sdk是否正确:
    maca-sdk-3.9.1.6-rpm-x86_64.tar.xz
    maca-onnxruntime-1.12.0-py310-3.9.0.12-linux-x86_64.tar.xz

    2、是否支持异步推理?及推理请求submit后,可以通过轮询stream状态,或者回调的方式,查询推理是否完成,在完成后d2h推理结果;以便实现 推理->查询及结果获取的 pipeline,更好的协同cpu与gpu

    3、多线程情况下,session使用场景是否理解正确:
    1)多线程共享session,可以节约资源,但是存在锁等待,性能不是最佳;
    2)每线程独立创建session,增加资源开销,如现存,但性能高;

  • 沐曦开发者论坛
powered by misago