DHSA:256-16384个控制参数实现推理时偏好对齐,达到DPO水准
偏好对齐也能在推理时完成!256-16384个控制参数达到DPO水准
阅读原文
本站未展示全文,请前往来源网站阅读。
AI 导读
成都大学、北卡罗来纳州立大学、复旦大学等团队提出直接隐状态对齐(DHSA),在冻结基座权重的前提下,将承载偏好计算的推理时隐状态作为适配空间,仅启用256—16,384个控制参数即可达到与DPO相竞争的对齐水平。
来源:量子位 · 微信公众号 · mp.weixin.qq.com
偏好对齐也能在推理时完成!256-16384个控制参数达到DPO水准
本站未展示全文,请前往来源网站阅读。
成都大学、北卡罗来纳州立大学、复旦大学等团队提出直接隐状态对齐(DHSA),在冻结基座权重的前提下,将承载偏好计算的推理时隐状态作为适配空间,仅启用256—16,384个控制参数即可达到与DPO相竞争的对齐水平。
来源:量子位 · 微信公众号 · mp.weixin.qq.com