跳到正文
量子位 · 微信公众号·· 10 小时前AI 评分43

DHSA:256-16384个控制参数实现推理时偏好对齐,达到DPO水准

偏好对齐也能在推理时完成!256-16384个控制参数达到DPO水准

阅读原文

本站未展示全文,请前往来源网站阅读。

AI 导读

成都大学、北卡罗来纳州立大学、复旦大学等团队提出直接隐状态对齐(DHSA),在冻结基座权重的前提下,将承载偏好计算的推理时隐状态作为适配空间,仅启用256—16,384个控制参数即可达到与DPO相竞争的对齐水平。

来源:量子位 · 微信公众号 · mp.weixin.qq.com