MetaX-Tech Developer Forum 论坛首页
  • 沐曦开发者
search
Sign in

zhangtaoshan

  • Members
  • Joined 2026年1月30日
  • message 帖子
  • forum 主题
  • favorite 关注者
  • favorite_border Follows
  • person_outline 详细信息

zhangtaoshan has posted 5 messages.

  • See post chevron_right
    zhangtaoshan
    Members
    同时运行推理、嵌入、排序模型卡在显存分配问题 已解决 2026年3月19日 12:36

    好的,(补充字数

  • See post chevron_right
    zhangtaoshan
    Members
    同时运行推理、嵌入、排序模型卡在显存分配问题 已解决 2026年3月19日 10:02

    嗯看启动命令是划分完了启动时还需要设置 --device 是吗

  • See post chevron_right
    zhangtaoshan
    Members
    同时运行推理、嵌入、排序模型卡在显存分配问题 已解决 2026年3月18日 14:19

    看文档是需要先手动划分显存吗?

  • See post chevron_right
    zhangtaoshan
    Members
    同时运行推理、嵌入、排序模型卡在显存分配问题 已解决 2026年3月17日 17:16

    请问一下,这个大概是什么问题有什么发现吗?

  • See post chevron_right
    zhangtaoshan
    Members
    同时运行推理、嵌入、排序模型卡在显存分配问题 已解决 2026年3月17日 15:16

    这个有进展吗, 我也遇到了如果是多模态模型vit和llm放到同一张卡上也有相同的问题,感觉是类似于这个问题?

    @huxia has written:

    c500 64g,也是两张卡运行三个模型,任意两个模型都不能放在同一张卡上

  • 沐曦开发者论坛
powered by misago