AI 导读
有观点指出,随着模型能力提升,不依赖思维链也能进行知识蒸馏,即"干蒸"。thinking 本是为解决模型幻觉而发明的自动生成上下文能力,如今却被当作 LLM 的定式。某神秘公司提出的干蒸方法论被认为令人叹为观止,后续进展值得期待。
正文
随着模型能力的提升:
1)没有思维链,也能蒸。干蒸。
2)别忘了,thinking 的发明是为了解决幻觉问题,什么时候成了 LLM 的定式了?它本质上是一种自动生成上下文(准确说是“上文”)的能力。更本质说,是一种仿生学。模仿人类的思考过程。
3)强模型公司的商业悖论在于,一边必须站街,搔首弄姿提供服务。另一边还要求站街过程中,裹着通身羽绒服,不让别人看。这种拧巴是个熵非常高的行为,并不会持续太久。
4)干蒸需要技巧。某神秘公司提出的干蒸方法论让人叹为观止,期待接下来的进展。
来源:赵纯想 · x.com