跳到正文
赵纯想· @chunxiangai · X·· 3 小时前AI 评分33
AI 导读

有观点指出,随着模型能力提升,不依赖思维链也能进行知识蒸馏,即"干蒸"。thinking 本是为解决模型幻觉而发明的自动生成上下文能力,如今却被当作 LLM 的定式。某神秘公司提出的干蒸方法论被认为令人叹为观止,后续进展值得期待。

正文

随着模型能力的提升:

1)没有思维链,也能蒸。干蒸。

2)别忘了,thinking 的发明是为了解决幻觉问题,什么时候成了 LLM 的定式了?它本质上是一种自动生成上下文(准确说是“上文”)的能力。更本质说,是一种仿生学。模仿人类的思考过程。

3)强模型公司的商业悖论在于,一边必须站街,搔首弄姿提供服务。另一边还要求站街过程中,裹着通身羽绒服,不让别人看。这种拧巴是个熵非常高的行为,并不会持续太久。

4)干蒸需要技巧。某神秘公司提出的干蒸方法论让人叹为观止,期待接下来的进展。

来源:赵纯想 · x.com