Hugging Face Daily Papers·· 1 天前AI 评分47
Omni-Embed-Mini:通过密集蒸馏绑定多模态而不遗忘文本
Omni-Embed-Mini: Binding Modalities Without Forgetting via Dense Distillation
AI 导读
Omni-Embed-Mini 以 0.9B 参数将文本、语音、音频、图像、视频和富文本文档映射到统一余弦空间,且不更新任何文本侧参数。其核心思路是无需独立嵌入模型作为教师,直接以冻结骨干网络对密集级联标题的嵌入作为目标,配合 Matryoshka SigLIP 对比损失与在线混合难负例挖掘器完成对齐。
来源:Hugging Face Daily Papers · arxiv.org