Open Athena 撰文分析为何没有 posttraining 数据共享库

Open Athena 博客文章指出，pretraining 曾得益于 Wikipedia、Common Crawl 等约 10PB 的互联网知识共享库，GPT-3 训练数据约 60% 来自 Common Crawl，而 posttraining 消耗的是任务而非文档，不存在现成的任务共享库。