MetaX-Tech Developer Forum 论坛首页
  • 沐曦开发者
search
Sign in

wesley331

  • Members
  • Joined 2026年6月24日
  • message 帖子
  • forum 主题
  • favorite 关注者
  • favorite_border Follows
  • person_outline 详细信息

wesley331 has posted 7 messages.

  • See post chevron_right
    wesley331
    Members
    6月30日发布的vllm 0.21.0是否支持deepseek v4部署?如果支持,正确的启动命令是? 解决中 2026年7月5日 13:52

    deepseek就是你们国产信创厂商的大腿,应该第一时间0day适配所有设备才有出路,否则为啥花大价钱买这种瘸腿产品

  • See post chevron_right
    wesley331
    Members
    C550的gpu使用率为何不能突破百分之80? 已解决 2026年6月26日 09:59
    @e411 has written:

    用sglang部署,开MTP,开speculative V2。我这里4*C500用sglang部署qwen3.6 27b,可以达到单请求80token/s左右,8请求总吞吐应该有300token/s左右,1个请求能跑个40左右,也能接受。vllm-metax的qwen的MTP是坏的,打开推理结果会乱码

    感谢,我试试

  • See post chevron_right
    wesley331
    Members
    C550的gpu使用率为何不能突破百分之80? 已解决 2026年6月26日 09:52
    @e411 has written:

    大模型推理的任务特性就决定了他的gpu占用率不会特别高。qwen3.6 27b已经是密度比较大的了,这占用还比较高,如果是那些moe模型更难跑高。通讯、数据等等占了大头

    感谢回答,可是现实当中的使用是有6-7个并发,客户端的感受是很慢。查看服务器的gpu使用率最高就是78,一般都是75-78波动,同样的模型与使用场景,华为910b4服务器基本都是100%

  • See post chevron_right
    wesley331
    Members
    C550的gpu使用率为何不能突破百分之80? 已解决 2026年6月26日 09:51

    感谢回答,可是现实当中的使用是有6-7个并发,客户端的感受是很慢。查看服务器的gpu使用率最高就是78,一般都是75-78波动,同样的模型与使用场景,华为910b4服务器基本都是100%

  • See post chevron_right
    wesley331
    Members
    C550的gpu使用率为何不能突破百分之80? 已解决 2026年6月24日 14:55
    @shuai_chen has written:

    尊敬的开发者您好,请使用单卡运行此模型。使用benchmark测试后,请调大上下文长度、最大并发提高GPU利用率。

    唉,这个没什么建设性。。。。

  • See post chevron_right
    wesley331
    Members
    C550的gpu使用率为何不能突破百分之80? 已解决 2026年6月24日 11:54
    @shuai_chen has written:

    尊敬的开发者您好,请参考developer.metax-tech.com/forum/t/fa-tie-qian-bi-kan-jing-xiang-shi-yong-wen-ti-ti-wen-mo-ban/267/ 详细描述您的使用过程

    我通过docker运行从镜像站上面下载的vllm-0.18.0镜像,跑的qwen3.6-27b模型,通过mx-smi观察gpu使用率,所有的8张gpu卡就像是被限制了一样,最多只能到78%,没有见过更高的。不是显存使用,是gpu的性能(gpu-util,gpu-state)。

  • See post chevron_right
    wesley331
    Members
    C550的gpu使用率为何不能突破百分之80? 已解决 2026年6月24日 11:48

    我的沐曦8卡c550gpu服务器,跑的vllm-0.18.0镜像,为什么mx-smi查看gpu的负载没有超过78%的时候?最多就是78%。这个是在哪里设置了上限吗?实际的使用率其实已经很高了,但gpu-state没法达到100%

  • 沐曦开发者论坛
powered by misago