跳到正文

Berkeley AI Research

bair.berkeley.edu · 网站与博客

当前显示全部 AI 相关新闻
切换来源
10 条AI 相关新闻 · 最新在前
7月29日周三
7月26日周日
  1. Berkeley AI Research44

    Berkeley AI Research 提出 ABBEL:用信念状态监督 LLM 长程交互

    Berkeley AI Research 提出 ABBEL 框架,将 LLM 的递归摘要转化为自然语言"信念状态",并通过信念评分监督其信息内容。在协作编程基准 CollabBench 上,采用重建式信念评分的 ABBEL-rec-BG 将全上下文模型的性能差距缩小约 50%,训练步数从 100 降至 50,峰值 token 长度也显著低于全上下文设置。

7月7日周二
7月1日周三
5月8日周五
  1. Berkeley AI Research37

    自适应并行推理:高效推理扩展的下一个范式

    一篇综述分析了并行推理领域的最新进展,重点讨论自适应并行推理——让推理模型自行决定何时分解并并行化独立子任务、生成多少并发线程以及如何协调。文章梳理了从自一致性、Best-of-N、Tree/Graph of Thoughts、MCTS 到 ParaThinker、GroupThink、Hogwild! Inference 等方法,指出多数方法仍由外部强加并行结构,而不同问题需要不同并行度。

4月20日周一
  1. Berkeley AI Research46

    GRASP:面向世界模型的梯度规划器,让长时程规划更稳健

    Berkeley AI Research 提出梯度规划器 GRASP,通过将轨迹提升到虚拟状态实现跨时间并行优化、向状态迭代直接注入随机性以探索、并重塑梯度让动作获得清晰信号,同时避开高维视觉模型中脆弱的"状态-输入"梯度。该方法针对长时程规划中梯度爆炸/消失、非贪心结构导致的局部极小值以及高维隐空间失效模式等问题,使基于梯度的长时程规划更稳健。

3月13日周五
  1. Berkeley AI Research45

    伯克利 AI 研究提出 SPEX 与 ProxySPEX:为 LLM 大规模识别关键交互

    伯克利 AI 研究提出 SPEX 与 ProxySPEX 算法,用于在大规模 LLM 中识别驱动模型输出的关键交互。SPEX 利用稀疏性与低阶性将交互搜索转化为稀疏恢复问题,ProxySPEX 进一步借助层级结构,以约 10 倍更少的消融达到 SPEX 的性能。在情感分析任务上,SPEX 在上下文扩展至数千特征时仍保持高忠实度,而 LIME、Banzhaf 等边际方法忠实度明显更低。

1月10日周六
  1. Berkeley AI Research47

    伯克利提出信息驱动成像系统设计框架,登 NeurIPS 2025

    伯克利 AI 研究团队提出一种基于互信息的成像系统评估与优化框架,可直接从含噪测量中估计信息量,在彩色摄影、射电天文、无透镜成像和显微成像四个领域预测下游解码性能。该方法在 NeurIPS 2025 论文中展示,优化出的设计可媲美端到端 SOTA 方法,同时占用更少内存和算力,且无需任务专用解码器。

11月1日周六
9月1日周一
  1. Berkeley AI Research44

    word2vec 究竟学到了什么?伯克利提出可定量预测的学习理论

    伯克利 AI 研究团队发表新论文,首次给出 word2vec 学习过程的定量预测理论:在现实实用条件下,其学习问题可归约为无权重最小二乘矩阵分解,梯度流动态有闭式解,最终学到的表示等价于对目标矩阵 M* 做 PCA。从小初始化训练时,word2vec 按离散步骤逐次学习正交线性子空间,每步提升嵌入矩阵的秩并降低损失,这些特征即 M* 的顶部特征向量,可由语料统计和超参数预先算出。