面向自我改进的 Harness Engineering
递归自我改进(RSI)概念可追溯至 I. J. Good(1965)提出的"超智能机器",Yudkowsky(2008)将其定义为 AI 用当前智能改进产生自身智能的认知机制。在现代 AI 中,这一反馈回路既可能表现为模型直接重写自身权重,也可能更广泛地体现为模型改进训练流程与部署系统,进而催生性能更强的后继模型。前沿实验室(Anthropic、OpenAI)的研究开发速度已被证明大幅加快。
网站与博客 · 历史来源 · 当前未持续收录
递归自我改进(RSI)概念可追溯至 I. J. Good(1965)提出的"超智能机器",Yudkowsky(2008)将其定义为 AI 用当前智能改进产生自身智能的认知机制。在现代 AI 中,这一反馈回路既可能表现为模型直接重写自身权重,也可能更广泛地体现为模型改进训练流程与部署系统,进而催生性能更强的后继模型。前沿实验室(Anthropic、OpenAI)的研究开发速度已被证明大幅加快。
缩放定律是深度学习最关键的实证发现之一:训练损失 L 随模型规模 N、数据规模 D 和算力 C 的扩大按幂律曲线可预测地下降,在双对数坐标上呈直线。其核心在于如何在 N 与 D 之间最优分配稀缺算力。