Intern-NCP 团队发布 NCP-ArchPreview 技术报告,用下一概念预测构建隐空间语言模型
NCP-ArchPreview Technical Report: Moving towards Latent Space Language Models through Next Concept Prediction
阅读原文
本站未展示全文,请前往来源网站阅读。
AI 导读
Intern-NCP 团队发布 NCP-ArchPreview 技术报告,该隐空间语言模型在标准 token 级自回归生成之外,通过下一概念预测(NCP)学习跨多个 token 的离散概念,并用隐状态构建乘积量化的概念词表。
来源:Hugging Face Daily Papers · arxiv.org