H Company 发布 NeoMME：260M 与 800M 单塔多模态编码器
H Company Releases NeoMME: A Family of 260M and 800M Single-Tower Multimodal Encoders That Drop the Vision Tower and Causal Decoder
阅读原文
本站未展示全文，请前往来源网站阅读。
AI 导读
H Company 发布 NeoMME 系列 260M 与 800M 双向编码器，去掉单独预训练的视觉塔和从不生成 token 的因果解码器，由同一个 Transformer 处理多语言文本 token 与 32×32 原始 RGB 图像 patch，并从随机初始化开始训练。
来源：MarkTechPost · marktechpost.com