Google Research 2021 年研究回顾：从 GLaM 到 WordPiece 分词

Google Research 回顾了 2021 年 12 月前后的多项研究，包括用 GLaM 提升上下文学习效率、快速 WordPiece 分词系统，以及通过数据集蒸馏更高效训练机器学习模型。其他工作涵盖部分本地化联邦学习、可解释时间序列预测、视觉 Transformer 的 tokenize 学习，以及开源强化学习数据集生态 RLDS。