面向 Nemotron 预训练的任务种子合成 Q&A 生成方法
Task-Seeded Synthetic Q&A Generation for Nemotron Pretraining
阅读原文
本站未展示全文，请前往来源网站阅读。
AI 导读
Hugging Face 博客介绍了为 Nemotron 系列预训练开发的任务种子合成 Q&A 生成流程，用 lm-eval-harness 中约 70 个公开任务、约 700 个子任务的训练集作为能力种子，生成并过滤出带推理与知识上下文的合成数据。
来源：Hugging Face Blog · huggingface.co