如何一步步推导出 SOTA 位置编码 RoPE

Hugging Face 博客通过逐步改进位置编码方案，最终推导出 Llama 3.2 及多数现代 Transformer 使用的 RoPE（旋转位置编码）。文章以 Llama 3.2 1B 为例演示：不加位置信息时，多头自注意力对同一 token 在不同位置的输出完全相同。作者提出位置编码应满足唯一性、线性关系、长度泛化、确定性生成和可扩展至多维等五项理想属性。