Sakana AI Blog· Sakana AI·· 19 天前AI 评分50
Sakana AI 提出 PC-ALM:无需反向传播训练 1000 层网络
Training 1000-layer networks without backpropagation
AI 导读
Sakana AI 提出 PC-ALM,一种仅靠局部动力学、无需反向传播即可训练 1000 层神经网络的局部学习替代方案。该方法将预测编码推广为使用增广拉格朗日,引入对偶神经元(拉格朗日乘子)参与层内动力学,使每层成为 PI 反馈控制系统以最小化局部预测误差。PC-ALM 能将信号传播到近乎任意深度,在标准预测编码难以学习的深层窄网络中尤其有效,并可能为神经形态硬件上的深度学习提供参考。
来源:Sakana AI Blog · sakana.ai