RPO：面向在线扩散强化学习的路由策略优化

针对扩散模型强化学习中扰动反向去噪轨迹导致 rollout 优化成本高的问题，研究者提出 Routing Policy Optimization（RPO），将注意力路由变为随机探索动作，在若干去噪层级上按生成器原生注意力权重采样 key block，并用受控双 rollout 估计优势信号。