Apple 研究：双语预训练混合数据优于超参数调优，数据受限场景下性能提升最高相当于 13 倍目标数据
Mix, Don't Tune: Bilingual Pre-Training Outperforms Hyperparameter Search in Data-Constrained Settings
阅读原文
本站未展示全文，请前往来源网站阅读。
AI 导读
Apple 研究团队在 150M 至 1.43B 四种规模模型上进行了约 1000 次预训练实验，以阿拉伯语为目标语言、英语为辅助语言，对比数据混合与超参数调优两种策略。
来源：Apple Machine Learning Research · machinelearning.apple.com