智谱唐杰:大模型只看参数的时代结束了
智谱唐杰:大模型只看参数的时代,结束了
阅读原文
本站未展示全文,请前往来源网站阅读。
AI 导读
智谱创始人、清华大学教授唐杰在X发帖提出,大模型已不能只靠参数量理解Scaling,还需同时看用了多少数据、算力花在哪里以及模型由谁在什么条件下运行。他复盘了从Kaplan到Chinchilla、再到把推理成本纳入账本的几次转向,认为早期万亿参数竞赛是一段后来折返的岔路。
来源:量子位 · 微信公众号 · mp.weixin.qq.com
智谱唐杰:大模型只看参数的时代,结束了
本站未展示全文,请前往来源网站阅读。
智谱创始人、清华大学教授唐杰在X发帖提出,大模型已不能只靠参数量理解Scaling,还需同时看用了多少数据、算力花在哪里以及模型由谁在什么条件下运行。他复盘了从Kaplan到Chinchilla、再到把推理成本纳入账本的几次转向,认为早期万亿参数竞赛是一段后来折返的岔路。
来源:量子位 · 微信公众号 · mp.weixin.qq.com