尊敬的开发者您好,沐曦是GPU不是NPU。请推理百次求平均值对比。
尊敬的开发者您好,沐曦是GPU不是NPU。请推理百次求平均值对比。
尊敬的开发者您好,sglang-diffusion正在支持中,请等待开发者社区相关镜像发布
尊敬的开发者您好,请按照以下模版提供详细信息
一、软硬件信息
1.服务器厂家:
2.沐曦GPU型号:
3.操作系统内核版本:
4.是否开启CPU虚拟化:
5.mx-smi回显:
6.docker info回显:
7.镜像版本:
8.启动容器命令:
9.容器内执行命令:
二、问题现象
请描述详细的问题现象日志。若日志过长,请上传附件(txt格式)。
尊敬的开发者您好,请按照下面模版提供详细信息
一、软硬件信息
1.服务器厂家:
2.沐曦GPU型号:
3.操作系统内核版本:
4.是否开启CPU虚拟化:
5.mx-smi回显:
6.具体执行命令
二、问题现象
请描述详细的问题现象日志。若日志过长,请上传附件(txt格式)。
尊敬的开发者您好,请联系商务接口人申请
尊敬的开发者您好,该镜像支持deepseek v3.2。支持W8A8量化。
尊敬的开发者您好,请按照下面模版提供详细信息
一、软硬件信息
1.服务器厂家:
2.沐曦GPU型号:
3.操作系统内核版本:
4.是否开启CPU虚拟化:
5.mx-smi回显:
6.具体执行命令
二、问题现象
请描述详细的问题现象日志。若日志过长,请上传附件(txt格式)。
尊敬的开发者您好,请联系相关商务接口人申请技术支持
尊敬的开发者您好,请按照下面模版提供详细信息
一、软硬件信息
1.服务器厂家:
2.沐曦GPU型号:
3.操作系统内核版本:
4.是否开启CPU虚拟化:
5.mx-smi回显:
6.具体执行命令
二、问题现象
请描述详细的问题现象日志。若日志过长,请上传附件(txt格式)。
尊敬的开发者您好,和vllm官方版本适配模型保持一致。
尊敬的开发者您好,请联系相关商务接口人申请技术支持!
尊敬的开发者您好,可以尝试使用vllm或sglang进行服务化推理。
尊敬的开发者您好,进行一下交叉验证。