如果要在裸金属宿主机环境下进行模型部署,安装maca-vllm-metax-0.19.0-py310-3.5.3.502-linux-x86_64.tar.xz过后,官方的vllm还需要安装吗?
如果要在裸金属宿主机环境下进行模型部署,安装maca-vllm-metax-0.19.0-py310-3.5.3.502-linux-x86_64.tar.xz过后,官方的vllm还需要安装吗?
尊敬的开发者您好,社区版本vLLM需要安装,请参考github.com/MetaX-MACA/vLLM-metax
好的谢谢!!