3. 已知问题和使用限制
模块 |
问题和限制说明 |
|---|---|
vllm-metax |
多卡模型需设置环境变量 |
DeepSeek-R1-Distill-Llama-70B在非OAM平台上大并发数性能测试会报错 |
|
SGLang |
部分模型部分切分偶现hang |
个别机型测试会掉卡 |
|
部分模型偶现启动失败，可尝试重新启动 |
|
需要使用特定SDK和Pytorch，请参考沐曦开发者社区配套推荐或联系技术支持工程师获取详细信息 |
模块 |
问题和限制说明 |
|---|---|
vllm-metax |
多卡模型需设置环境变量 |
DeepSeek-R1-Distill-Llama-70B在非OAM平台上大并发数性能测试会报错 |
|
SGLang |
部分模型部分切分偶现hang |
个别机型测试会掉卡 |
|
部分模型偶现启动失败，可尝试重新启动 |
|
需要使用特定SDK和Pytorch，请参考沐曦开发者社区配套推荐或联系技术支持工程师获取详细信息 |