跳到正文
原文
Hugging Face Daily Papers·· 1 天前AI 评分47

Omni-Embed-Mini:通过密集蒸馏绑定多模态而不遗忘文本

Omni-Embed-Mini: Binding Modalities Without Forgetting via Dense Distillation

AI 导读

Omni-Embed-Mini 以 0.9B 参数将文本、语音、音频、图像、视频和富文本文档映射到统一余弦空间,且不更新任何文本侧参数。其核心思路是无需独立嵌入模型作为教师,直接以冻结骨干网络对密集级联标题的嵌入作为目标,配合 Matryoshka SigLIP 对比损失与在线混合难负例挖掘器完成对齐。

来源:Hugging Face Daily Papers · arxiv.org