AWS提出Priming方法，将预训练Transformer转换为混合SSM架构并节省99%以上预训练成本
Can we change an AI model’s architecture without retraining it from scratch?
阅读原文
本站未展示全文，请前往来源网站阅读。
AI 导读
AWS团队发布论文《Priming: Hybrid state space models from pre-trained Transformers》，提出以预训练Transformer权重为起点构建混合架构的方法，预训练成本降低超过99%，管道消耗不到源模型0.5%的token预算，适用于Qwen、Llama、Mistral及dense或MoE模型。
推荐理由
原文给出priming方法的完整流程、三种SSM层的受控对比和开源模型，读者可评估混合架构能否省掉从零预训练。
来源：Amazon Science · amazon.science