谷歌 AlloyDB AI 函数正式可用,推出代理模型替代外部大模型调用
AlloyDB 推出代理模型,用数据库本地推理替代外部大模型调用
阅读原文
本站未展示全文,请前往来源网站阅读。
AI 导读
谷歌宣布 AlloyDB AI 函数正式可用,并推出智能批处理与代理模型两项加速技术。智能批处理把多行数据合并为单次模型调用,谷歌内部测试最高每秒处理一万行,较逐行处理提升 2400 倍;代理模型先用样本在数据库内训练轻量本地模型执行 ai.if 查询,内部测试每秒十万行、吞吐提升 23000 倍、成本降至 1/6000,但该优化尚处预览阶段。
来源:InfoQ · 微信公众号 · mp.weixin.qq.com