跳到正文

#安全/对齐

今日 17 条
4月3日周五
  1. Google Research40

    Google Research 发布 LLM 行为倾向对齐评估框架,测试 25 个模型

    Google Research 提出一套基于情境判断测试(SJT)的框架,评估 LLM 在真实用户-助手场景中的行为倾向与人类共识的对齐程度。对 25 个 LLM 的大规模分析发现两类差距:模型倾向偏离人类标注者共识,以及在无共识时无法覆盖人类意见的分布范围。在人类标注完全一致的场景中,小于 120B 的模型与前沿闭源模型对齐度接近完美,但共识低于 90% 时对齐度停滞在 80% 出头。

3月13日周五
  1. Berkeley AI Research45

    伯克利 AI 研究提出 SPEX 与 ProxySPEX:为 LLM 大规模识别关键交互

    伯克利 AI 研究提出 SPEX 与 ProxySPEX 算法,用于在大规模 LLM 中识别驱动模型输出的关键交互。SPEX 利用稀疏性与低阶性将交互搜索转化为稀疏恢复问题,ProxySPEX 进一步借助层级结构,以约 10 倍更少的消融达到 SPEX 的性能。在情感分析任务上,SPEX 在上下文扩展至数千特征时仍保持高忠实度,而 LIME、Banzhaf 等边际方法忠实度明显更低。

3月12日周四
11月6日周四
  1. Microsoft AI News64

    Microsoft AI 提出 Humanist Superintelligence 理念并组建 MAI Superintelligence Team

    Microsoft AI 发布长文,提出 Humanist Superintelligence(HSI)理念,即面向具体领域、受控服务于人类的超智能,并宣布组建由作者领导的 MAI Superintelligence Team。

    推荐理由:Microsoft AI 提出以人类为中心、领域受限的超智能路线,文中给出医疗诊断等具体方向和 containment 难题的判断。

9月9日周二
4月15日周二
  1. AI as Normal Technology65

    Arvind Narayanan 发布长文论文《AI as Normal Technology》,将 AI 视为常态技术

    Arvind Narayanan 发布超过 1.5 万字的新论文,提出将 AI 视为“常态技术”的世界观,认为其影响类似电力和互联网等通用技术,变革性经济与社会影响将以数十年为时间尺度缓慢展开。

    推荐理由:作者提出 AI 是像电力一样的常态技术,经济影响将以数十年计缓慢扩散,并给出风险与政策的替代框架。

12月14日周六
  1. AI as Normal Technology72

    分析 78 个选举深度伪造案例后,Sayash Kapoor 认为政治误信息不是 AI 问题

    Sayash Kapoor 分析 WIRED AI Elections Project 收录的 78 个 2024 年选举 AI 使用案例,发现其中 39 个无欺骗意图,而 39 个欺骗性内容不用 AI 也能以几百美元内的成本复制。文章提出误信息的关键在需求侧而非供给侧,治理信息环境依赖结构性、制度性改变,而非限制 AI 生成内容。

    推荐理由:作者基于 WIRED 数据库 78 个案例给出一手分析,指出政治误信息更多是需求侧的结构性问题,值得从供需视角重新审视。

11月12日周二
  1. AI as Normal Technology72

    英国肝移植匹配算法为何系统性不利于年轻患者

    Arvind Narayanan 等人分析英国 NHS 肝移植匹配算法 TBS,指出其用 5 年生存期封顶计算移植收益,导致年轻患者无论病情多重都难以获得高分,2024 年 The Lancet 研究确认了这一年龄偏差。

    推荐理由:原文用英国肝移植算法的年龄偏差案例,指出目标变量错配而非输入特征才是算法公平的关键,可迁移到其他预测决策系统。

10月18日周五
  1. Suno Blog47

    Suno 与 Audible Magic 达成合作,为 Audio Inputs 上传功能引入版权识别

    Suno 宣布与 Audible Magic 合作,将后者的内容识别技术直接集成到用户上传流程中,以阻止未经授权的用户上传。该技术服务于 Suno 的 Audio Inputs 与 Covers 功能,用户可上传自己的原创作品或手机上的小样来生成歌曲。Suno 联合创始人兼 CEO Mikey Shulman 称 Audible Magic 是版权合规的可信合作伙伴。

8月1日周四
  1. Suno Blog70

    Suno 回应唱片业诉讼,称模型训练属学习而非侵权

    Suno 发文回应 RIAA 代表三大唱片公司于 6 月 24 日提起的版权诉讼,称诉讼在事实和法律上均有缺陷,训练数据来自开放互联网上的中高质量音乐。Suno 还表示已设置阻止上传受版权内容、禁止按艺术家名生成等防抄袭机制,且起诉时双方正进行商业谈判。

    推荐理由:Suno 官方回应 RIAA 诉讼,阐述其训练数据立场和防抄袭机制,可了解生成式音乐版权争议一方的核心论点。