SimLoss:单次推理的细粒度图像描述方法
A Glance Is All You Need: Single-Pass Fine-Grained Image Captioning with SimLoss
阅读原文
本站未展示全文,请前往来源网站阅读。
AI 导读
SimLoss 是一种无参考的嵌入空间目标函数,用于单次推理的细粒度图像描述,通过 InfoNCE 对比损失将视觉语言模型投影的隐藏状态与冻结图像嵌入对齐,无需人工细粒度描述或多阶段伪描述。其全微分微调版本 SimLoss FFT 精度最高,F1 接近多阶段方法,且推理速度约为多阶段流程的 20 倍;基于奖励的 SimLoss GRPO 召回率最强。
来源:Hugging Face Daily Papers · arxiv.org