跳到正文
@dongxi_nlp· @dongxi_nlp · X·· 26 天前AI 评分28
AI 导读

极致的压榨 KV Cache Compression DeepSeek-V4.1-Flash 的 Causal Encoder–Decoder 改变了什么? 在常规 Transformer 中,各层根据进入本层的 hidden states,生成自己的 K 和 V。DeepSeek-V4.1-Flash 的 Causal Encoder–Decoder 调整了这一依赖关系:decoder 的 global KV 直接由 causal encoder 的最终输出生成。 因此,构建 decoder 的 global KV,无需让整段 prompt 经过所有 decoder 层。这为减少 prefill,也就是生成回答前的输入处理计算,提供了基础。

正文

极致的压榨 KV Cache Compression

DeepSeek-V4.1-Flash 的 Causal Encoder–Decoder 改变了什么?

在常规 Transformer 中,各层根据进入本层的 hidden states,生成自己的 K 和 V。DeepSeek-V4.1-Flash 的 Causal Encoder–Decoder 调整了这一依赖关系:decoder 的 global KV 直接由 causal encoder 的最终输出生成。

因此,构建 decoder 的 global KV,无需让整段 prompt 经过所有 decoder 层。这为减少 prefill,也就是生成回答前的输入处理计算,提供了基础。

来源:@dongxi_nlp · x.com