Apple 研究：数据受限下混合预训练的缩放定律
Scaling Laws for Mixture Pretraining Under Data Constraints
阅读原文
本站未展示全文，请前往来源网站阅读。
AI 导读
Apple 研究团队针对目标数据稀缺场景下的混合预训练展开研究，覆盖超过 2000 次语言模型训练运行，分析稀缺目标数据与充足通用数据的混合比例权衡。目标数据过少会导致模型对目标领域暴露不足，过多则因重复样本造成收益递减并最终过拟合。
来源：Apple Machine Learning Research · machinelearning.apple.com