量化如何破坏循环网络记忆:低精度时序推理中的循环状态写回
When Quantization Breaks Memory: Recurrent-State Write-Back in Low-Precision Temporal Inference
阅读原文
本站未展示全文,请前往来源网站阅读。
AI 导读
研究提出"循环状态写回"概念,在荧光寿命成像的 GRU 编码器-解码器上,将连续状态传播替换为确定性 4-bit 状态存储后,τ1 和 τ2 的估计误差分别增大约 70 倍和 300 倍。误差反馈、残差记忆和方向记忆可在不重新训练的情况下恢复精度;在独立训练的 LSTM 上,粗粒度写回复现了相同失败,且 cell state 比 hidden state 更敏感。
来源:Hugging Face Daily Papers · arxiv.org