PSN-RLVR：给参数加扰动，让强化学习后的大模型恢复探索能力

关注前沿科技 2026-10-29 11:40 北京

给大模型换一副“参数脑子”

PSN-RLVR团队投稿
量子位 | 公众号QbitAI

DeepSeek-R1等模型让人们看到了强化学习的潜力。但已有研究发现，模型答得更准，未必意味着能解出的题目更多。

怎样让大模型跳出熟悉的套路，探索新的解题思路？

来自上海创智学院、复旦大学、上海人工智能实验室和香港中文大学的研究团队提出了PSN-RLVR：在解题前给模型参数加入小幅扰动，并让同一扰动贯穿整段推理，就像暂时给模型换一副“参数脑子”。

论文实验显示，该方法在多种模型上提高了多次尝试的成功率，在科学问答和编程任务上也取得分布外泛化的收益，还观察到了基线多次采样中未出现的解题思路。

相关论文已被NeurIPS 2026接收。

从“答得更准”到“想出新解法”

经过强化学习训练的模型成绩提高了，一个更深的问题也随之出现：模型掌握了更多解题方法，还是更擅长用对原本就会的方法？一项针对多种公开模型和RLVR算法的研究发现：在其测试设置中，强化训练后的模型单次作答更准；但让双方都尝试很多次，原始模型反而能解出更多题。

这也解释了为什么要区分两个指标：pass@1看单次作答的成功率；pass@256看尝试256次，至少答对一次的概率。答得更稳，和多次尝试时能找到更多解法，是需要分别检验的两件事。于是，探索成了一个关键问题：怎样让模型在反复训练中，有更多机会发现不同的解题路线？

为增加探索，已有研究尝试：

调整采样温度，让模型多一些选择；
改变训练目标，鼓励保留不同答案；
补充题目和解题示范，让模型接触更多思路。

不过，逐步增加随机性未必能形成连贯的新解法，补充学习材料也会带来额外成本。

上海创智学院联合复旦大学等机构提出了PSN-RLVR，并在GRPO上实现了PSN-GRPO。它把探索放到模型的内部参数上：在解题前加入小幅扰动，并让这次扰动贯穿整条推理。可以理解成暂时换一副“参数脑子”，带着不同的思考倾向把题做完。

△原论文Figure 1。左侧比较不同尝试次数下的表现；右侧看回答的含义和运算步骤有多大差别。PSN-GRPO相比普通GRPO，恢复了部分多样性，并提高了多次尝试的成功率。

PSN的区别：让一次扰动贯穿整条推理

可以把模型参数理解成影响它思考和表达的一组内部设置。PSN在生成回答前，给其中一部分设置加上小幅随机扰动，同一条推理轨迹使用的扰动保持不变。

这像是让同一个解题者暂时换一套思考习惯，再沿着这套习惯把题做完。参数扰动从整段生成的源头改变选择倾向，比逐个词增加随机性更有机会形成连贯的不同思路；它也不保证每次都能找到新解法。

训练时，带噪模型负责探索，收集到的回答再用于更新未直接加噪的模型。GRPO则通过比较同一道题的一组回答，让表现好的回答获得更有利的学习信号。

实验比较了不同加噪位置，其中MLP/FFN，也就是模型每层内部处理信息的前馈模块，表现出较好的探索与稳定性平衡。

要让这套方法工作，还需要两个配套设计。

一是把探索结果接回正常训练。采样来自带噪模型，更新的却是未加噪模型，两者生成同一回答的概率可能不同。截断重要性采样（TIS）会按这种差异调整样本权重，并给权重设上限，避免少数样本把训练带偏。

二是让噪声随当前状态调整。实时调度器先用未加噪模型为每题试答两次，观察回答有多相似、模型的预测有多集中。两项信号合成后，如果高于历史平均水平，就增强探索；反之则减小扰动。这样能减少固定噪声在不同题目上过强或过弱的问题。

PSN也可以和已有方法搭配。与pass@k训练结合后，平均pass@256从76.37%提升到79.12%，说明改变参数和改变训练目标可以相互补充。

换成不同模型，还能有效吗？

在Qwen2.5-Math-7B上，论文评估了AIME 2024、AIME 2025、AMC 2023、OlympiadBench和Minerva五个数学基准。按正文Table 3，自适应版本的平均结果如下：

最明显的变化出现在多次尝试：pass@256提高了4.8个百分点，单次作答成绩基本持平。

作者还测试了Qwen2.5-7B、Qwen3-4B-Base和Llama-3.1-8B。其中，固定噪声版本让Qwen3-4B-Base的五项数学基准平均pass@256从70.70%升至74.56%，Llama-3.1-8B从39.56%升至49.92%；Qwen3的自适应版本进一步达到76.10%。Qwen3-4B-Base的详细结果如下，Clean代表了标准的GRPO算法，PSN代表了加入噪声训练的方法（本论文）。

更好的探索性，带来更好的泛化性。

这对应OOD，也就是“分布外”泛化：训练主要用数学数据，测试换成不同领域的任务，能力还能不能迁移？它和“换一个模型测试”是两回事。

论文使用科学问答基准GPQA Diamond和编程基准LiveCodeBench检查这一点。以Qwen3-4B-Base为例，附录Table 7报告，PSN方法训练出来的模型展现了良好的“分布外”泛化能力：

Llama-3.1-8B的PSN版本在这两个测试上也有提升。也就是说，收益延伸到了训练领域以外，为“这种探索机制可以迁移”提供了证据。

已有一些论文方法，例如字节seed&人民大学提出的修改优化目标的Pass@k[1]训练，也在解决GRPO的探索性存在上限的问题，本论文方法与Pass@k叠加训练产生了更好的效果。

下表所示，pass@k代表字节seed&人民大学提出的Pass@k训练方法。

连解题的切入点，也发生了变化

分数上涨，还不能直接回答一个更有意思的问题：模型到底想出了不同的办法，还是更频繁地选中了旧办法？

作者在AIME 2024的30道题上，每题采样300条回答，筛选出原模型300次都没答对、PSN却至少答对一次的题目，再借助Gemini对推理过程做定性分析。

附录给了一个直观案例：正八边形的顶点被涂成红、蓝两色，要判断能否通过旋转，让所有蓝点落到原来的红点位置。

基线模型容易钻进“图案必须旋转对称”的死胡同，过早排除不对称的涂色方案。下图的回答是经过GRPO训练过后几种常见的的模型解题错误方式：

PSN的回答则从另一个条件切入：旋转后的蓝点集合，与原来的蓝点集合没有重叠。这个视角打开了原先被忽略的方案。

这就是论文观察到的“新的思考模式”：在基线那300条回答中没有出现的解题角度，出现在了PSN的回答里。它支持模型探索到了此前未观察到的路线，但有限采样不能证明原模型永远不可能产生这种思路。

论文还检查了推理是否自洽：用ReCEval衡量前面的步骤能否支撑后面的结论、过程是否自相矛盾，PSN-GRPO在所比较的基线上表现更好。回答变得更多样时，连贯性也需要一起检验。

论文标题：Learning to Explore with Parameter-Space Noise: A Deep Dive into Parameter-Space Noise for Reinforcement Learning with Verifiable Rewards（NeurIPS 2026）
作者：白碧哲、王欣玥、叶鹏，陈涛
作者单位：复旦大学，上海创智学院，上海人工智能实验室，香港中文大学。
arXiv：https://arxiv.org/pdf/2602.02555

一键三连「点赞」「转发」「小心心」

欢迎在评论区留下你的想法！

— 完 —

【学术投稿】请在工作日发送邮件至：ai@qbitai.com，标题注明【投稿】，并告诉我们：你是谁，从哪来，投稿内容附上项目/主页链接，以及联系方式。

🎓 我们会 (尽量) 及时回复你 :)

🌟 点亮星标 🌟

科技前沿进展每日见

阅读原文

跳转微信打开