目前 VLLM 或者 Sglang 的 PD 分离主要依赖 mooncake 或者 nixl 的 kv 传输后端,请问沐曦是否提供了类似的能适配沐曦通信库的kvcache 传输方案呢?
尊敬的开发者您好,沐曦已适配类似的通信库的kvcache传输方案,详细解决方案请通过商务渠道获取。
Thread has been moved from 公共.