AWS提出Priming方法实现Transformer免重训转换

2026年10月13日，AWS团队在Amazon Science发布论文《Priming: Hybrid state space models from pre-trained Transformers》，提出一种名为Priming的方法，可将预训练的Transformer模型转换为混合SSM架构。报道称，该方法以预训练Transformer权重为起点构建混合架构，预训练成本降低超过99%，管道消耗不到源模型0.5%的token预算，并适用于Qwen、Llama、Mistral以及dense或MoE模型。目前该消息为AWS方面的一手发布，尚无其他来源的独立报道或后续进展。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。