缩放定律，谨慎对待

缩放定律是深度学习最关键的实证发现之一：训练损失 L 随模型规模 N、数据规模 D 和算力 C 的扩大按幂律曲线可预测地下降，在双对数坐标上呈直线。其核心在于如何在 N 与 D 之间最优分配稀缺算力。