Lafa:8B 参数大规模连续流语言模型,吞吐量达 AR 模型 2.54 倍
Large Flow Language Models
阅读原文
本站未展示全文,请前往来源网站阅读。
AI 导读
研究者提出 Lafa(Large flow language model),一个扩展到 8B 参数的块式连续流语言模型,采用前缀因果注意力与块内双向异步流设计,可在不到 30B token 上完成训练。
来源:Hugging Face Daily Papers · arxiv.org
Large Flow Language Models
本站未展示全文,请前往来源网站阅读。
研究者提出 Lafa(Large flow language model),一个扩展到 8B 参数的块式连续流语言模型,采用前缀因果注意力与块内双向异步流设计,可在不到 30B token 上完成训练。
来源:Hugging Face Daily Papers · arxiv.org