19世纪热物理的数学如何帮 LLM 理解句子顺序

1822 年 Joseph Fourier 研究热传导时用正弦、余弦函数表示复杂温度分布，这类函数如今出现在现代语言模型的 Transformer 架构中，用于把 token 的位置转成结构化数值模式，让模型学习词序对含义的影响。文章还解释了注意力机制如何理解顺序、位置信息如何提供给模型，以及 RoPE 的工作原理。