谷歌 Gemma 4 12B 发布,以无编码器架构实现端侧多模态
Gemma 4 12B 通过无编码器架构实现设备端多模态主动工作流
阅读原文
本站未展示全文,请前往来源网站阅读。
AI 导读
谷歌发布 Gemma 4 12B,一款 120 亿参数的端侧多模态模型,采用统一的无编码器架构,将多模态数据直接输入 LLM,省去独立的视觉与音频编码器。其视觉嵌入器仅 3500 万参数,取代了其他中型 Gemma 4 模型使用的 27 层视觉 Transformer,音频则直接将 16 kHz 波形切分为 40 毫秒帧后线性投影进 LLM 输入空间。
来源:InfoQ · 微信公众号 · mp.weixin.qq.com