MetaX-Tech Developer Forum 论坛首页
  • 沐曦开发者
search
Sign in
  • chevron_right Threads
  • label type:需求/bug
  • label 已解决

沐熙C600小模型推理SDK开发问题

TuQiang
2026年10月31日
chat_bubble_outline 1
  • link
    TuQiang
    Members 1 post
    2026年10月31日 16:24 2026年10月31日 16:24
    link

    使用C600系列N300卡进行小模型推理,c、c++语言sdk开发;

    1、使用的sdk是否正确:
    maca-sdk-3.9.1.6-rpm-x86_64.tar.xz
    maca-onnxruntime-1.12.0-py310-3.9.0.12-linux-x86_64.tar.xz

    2、是否支持异步推理?及推理请求submit后,可以通过轮询stream状态,或者回调的方式,查询推理是否完成,在完成后d2h推理结果;以便实现 推理->查询及结果获取的 pipeline,更好的协同cpu与gpu

    3、多线程情况下,session使用场景是否理解正确:
    1)多线程共享session,可以节约资源,但是存在锁等待,性能不是最佳;
    2)每线程独立创建session,增加资源开销,如现存,但性能高;

  • arrow_forward

    Thread has been moved from 公共.

    • By shuai_chen on 2026年11月2日 10:16.
  • link
    shuai_chen
    Members 1029 posts
    2026年11月2日 10:27 2026年11月2日 10:27
    link

    尊敬的开发者您好,
    1.使用SDK正确,建议使用容器使用
    2.暂不支持 参考developer.metax-tech.com/api/client/document/preview/AI%20%E5%BA%94%E7%94%A8%E5%BC%80%E5%8F%91%E5%8F%82%E8%80%83/AI%E6%8E%A8%E7%90%86%E7%94%A8%E6%88%B7%E6%89%8B%E5%86%8C/MXC500/3.8.0.x/split_files/macart_c_api.html#xkxdfzshsgkm1
    3.视应用场景选择,各有利弊

  • arrow_forward

    Thread has been moved from 解决中.

    • By shuai_chen on 2026年11月9日 17:29.
arrow_upward Go to top
  • 沐曦开发者论坛
powered by misago