AstroPT 研究：用星系图像揭示 LLM 概念涌现顺序

研究者用训练于数百万张星系图像的 Transformer 模型 AstroPT 作为校准测试平台，发现星系属性的涌现顺序固定且与已知难度一致：直接写入像素的波段星等训练早期即可解码，红移和比恒星形成率等推断量则出现更晚、位于更深层。该顺序不受测试的训练目标影响，随模型容量在幅度上扩展但顺序不变，线性探针方向还能恢复星系属性间已知的物理结构。