Dwarkesh：AI 进步的核心是数据黑洞而非样本效率提升

Dwarkesh Patel 撰文认为，近几年 AI 进步主要来自更宽更好的数据分布和 RL 合成数据，而非样本效率提升。他估算人类从出生到成年只接触约 2 亿 token，前沿模型却训练于数十至数百万亿 token，差距近百万倍；按 Chinchilla 常数，即使无限增加参数也只能将所需数据降低约 10 倍，说明人类处于不同的 scaling 曲线。