跳到正文
原文
Hugging Face Daily Papers·· 3 天前AI 评分36

HeteroFold:面向异构多智能体 LLM 的免预填充跨模型族 KV Cache 传输

Prefill-Free Cross-Family KV Cache Transfer for Heterogeneous Multi-Agent LLMs

AI 导读

HeteroFold 是一种免预填充的跨模型族 KV Cache 传输方法,可在发送方与接收方均冻结的前提下对齐模型结构、映射并校准缓存。在六个传输方向上,它于四个长上下文基准上均取得最佳缓存传输表现,并在多智能体基准上追平文本通信。

来源:Hugging Face Daily Papers · arxiv.org