跳到正文
Hugging Face Daily Papers·· 2 天前AI 评分45

离散视觉 token 能否成为语义无损的视觉信号表示?

Can Discrete Tokens Serve as Semantically Lossless Representations of Visual Signals?

阅读原文

本站未展示全文,请前往来源网站阅读。

AI 导读

研究重新审视"量化误差必然导致语义损失"的假设,发现量化误差大小与多模态理解表现并不可靠对应,离散索引的有效比特预算才是下游性能的关键决定因素。为此提出 Factorized Vector Quantization,用对称并行码本量化视觉特征的互补固定维度视图,在更大比特预算下持续提升并最终追平连续视觉表示。

来源:Hugging Face Daily Papers · arxiv.org