微信大模型 WeLM 两款 MoE 参数公布,80B 版本已部署至智能体小微
认识下「微信大模型」:WeLM
阅读原文
本站未展示全文,请前往来源网站阅读。
AI 导读
微信大模型 WeLM 共两款,均为 MoE 架构:WeLM-80B 为 80B 总参数、3B 激活参数,WeLM-617B 为 617B 总参数、23B 激活参数。80B 版本已部署在微信智能体小微,支持用户进行对话与搜索、操作微信原生功能以及调用小程序服务。617B 版本仍在开发中,将以相对适中的激活参数增强通用理解与推理能力。
来源:赛博禅心 · 微信公众号 · mp.weixin.qq.com