deepseek就是你们国产信创厂商的大腿,应该第一时间0day适配所有设备才有出路,否则为啥花大价钱买这种瘸腿产品
deepseek就是你们国产信创厂商的大腿,应该第一时间0day适配所有设备才有出路,否则为啥花大价钱买这种瘸腿产品
感谢回答,可是现实当中的使用是有6-7个并发,客户端的感受是很慢。查看服务器的gpu使用率最高就是78,一般都是75-78波动,同样的模型与使用场景,华为910b4服务器基本都是100%
感谢回答,可是现实当中的使用是有6-7个并发,客户端的感受是很慢。查看服务器的gpu使用率最高就是78,一般都是75-78波动,同样的模型与使用场景,华为910b4服务器基本都是100%
唉,这个没什么建设性。。。。
我通过docker运行从镜像站上面下载的vllm-0.18.0镜像,跑的qwen3.6-27b模型,通过mx-smi观察gpu使用率,所有的8张gpu卡就像是被限制了一样,最多只能到78%,没有见过更高的。不是显存使用,是gpu的性能(gpu-util,gpu-state)。
我的沐曦8卡c550gpu服务器,跑的vllm-0.18.0镜像,为什么mx-smi查看gpu的负载没有超过78%的时候?最多就是78%。这个是在哪里设置了上限吗?实际的使用率其实已经很高了,但gpu-state没法达到100%