AI 导读
微信开源了 WeMM-Embedding 多模态嵌入模型,包含 2B、4B、9B 三个版本,其中 9B 拿下双榜第一,2B 版本的跑分超过上一代 8B 开源模型。
正文
卧槽兄弟们,@Weixin_WeChat 微信刚刚干了件特别不微信的事,极其低调但又极其炸裂,
他们把每天给视频号、公众号、朋友圈和电商做搜索推荐的隐形AI,全盘开源了,
真正每天默默影响十几亿人体验的顶级技术,甚至根本不需要和你说一句话
这东西不会写文案,也不会陪你聊天,是那种不露脸的后台苦力,
但这次开源的 WeMM-Embedding,最吓人的根本不是 9B 拿了双榜第一,
而是那个区区 2B 的小版本,跑分直接干翻了上一代 8B 的开源顶流
2个B打赢8个B,靠的是工业级训练配方在抽暴力堆参数的耳光:
几亿级数据对齐加上细粒度蒸馏,
在微信内部 14 个真实业务测试里全线跑赢
做多模态 RAG、视频检索和 Agent 记忆的兄弟,这次真的省大钱了:
文字、多张图、长视频随便混着一次性喂进去,
最绝的是俄罗斯套娃维度,直接把维度截断到 256 维还能保住近 99% 的性能,
向量数据库的存储和检索成本,直接给你砍到了脚脖子
大模型负责在大脑里思考,Embedding 负责在万物里精准找到东西,
两个少了一个,所谓的 AI 智能体全都是盲人摸象
微信把自家每天扛几十亿流量的内容理解底座直接端出来,
对真正做工程落地的人来说,这比再发十个聊天模型都要痛快得多啊
来源:@AYi_AInotes · x.com