a16z 投资 Preference Model：为前沿实验室构建 RL 环境

a16z 宣布投资 Preference Model，该公司为前沿实验室构建强化学习环境，聚焦 AI 研究与 ML 工程任务。其本周开源了生产环境框架 Karotte，内置防止模型 reward hacking 的防御机制，已通过超 100 万次评估运行和受控红队测试。团队由 Anthropic 早期成员 Jennifer Zhou 和 DatologyAI 早期员工 Ning Cao 创立。