富士通介绍 PHOTON 框架:1.2B 模型多查询性能 475 倍于 Transformer
阅读原文
本站未展示全文,请前往来源网站阅读。
AI 导读
富士通介绍了其开发的 PHOTON(自上而下网络并行分层计算)架构,宣称在多查询场景下性能至高可达主流 Transformer 架构的 475 倍。该架构在语义层面分层处理,降低计算复杂度并提供更好并行性,在 600M、900M、1.2B 参数规模模型上实现更高迭代吞吐量和更低内存占用,其中 1.2B 模型上实现 475 倍性能和略低的质量。
来源:IT Home · ithome.com