Orthrus 的无损投机解码有多无损？数值精度在其中的作用

研究以混合自回归-扩散架构 Orthrus 为例，考察有限精度浮点计算对"无损投机解码"的影响：在 12 个领域共 1,190 条提示上，BF16 推理下仅 45% 的作者 checkpoint 生成和 43% 的独立训练模型生成实现精确轨迹匹配，匹配概率与自回归参考模型的响应条件困惑度强相关。