我的沐曦8卡c550gpu服务器，跑的vllm-0.18.0镜像，为什么mx-smi查看gpu的负载没有超过78%的时候？最多就是78%。这个是在哪里设置了上限吗？实际的使用率其实已经很高了，但gpu-state没法达到100%
2026年6月24日
11
-
-
- By shuai_chen on 2026年6月24日 11:50.
-
-
我通过docker运行从镜像站上面下载的vllm-0.18.0镜像，跑的qwen3.6-27b模型，通过mx-smi观察gpu使用率，所有的8张gpu卡就像是被限制了一样，最多只能到78%，没有见过更高的。不是显存使用，是gpu的性能（gpu-util,gpu-state）。
-
尊敬的开发者您好，请使用单卡运行此模型。使用benchmark测试后，请调大上下文长度、最大并发提高GPU利用率。
-
唉，这个没什么建设性。。。。
-
大模型推理的任务特性就决定了他的gpu占用率不会特别高。qwen3.6 27b已经是密度比较大的了，这占用还比较高，如果是那些moe模型更难跑高。通讯、数据等等占了大头
-
感谢回答，可是现实当中的使用是有6-7个并发，客户端的感受是很慢。查看服务器的gpu使用率最高就是78，一般都是75-78波动，同样的模型与使用场景，华为910b4服务器基本都是100%
-
感谢回答，可是现实当中的使用是有6-7个并发，客户端的感受是很慢。查看服务器的gpu使用率最高就是78，一般都是75-78波动，同样的模型与使用场景，华为910b4服务器基本都是100%
-
用sglang部署，开MTP，开speculative V2。我这里4*C500用sglang部署qwen3.6 27b，可以达到单请求80token/s左右，8请求总吞吐应该有300token/s左右，1个请求能跑个40左右，也能接受。vllm-metax的qwen的MTP是坏的，打开推理结果会乱码
-
至于npu的占用，这个应该是不同的厂家配置的占用率的算法不一样，没法直接比较，尤其是华为是npu，沐曦是gpu，架构差距很大，两个指标没法直接比较
-
感谢，我试试
-
据我了解，并发多了之后，华为的机器也未必就很快，体验也就一般般。910b的算力和带宽都和沐曦差不多的
-
- By shuai_chen on 2026年7月2日 11:16.