研究：不同LLM架构共享Fisher-Rao几何结构

2026年10月12日，BestBlogs.dev报道了一项研究：Transformer、状态空间模型和循环神经网络等不同LLM架构的下一个Token概率分布会收敛到相同的Fisher-Rao度量，为跨架构行为控制提供通用基础。基于该几何结构的干预可改进模型转向、知识编辑与微调，并将非目标副作用降低多达两个数量级。报道同时指出，估算Fisher-Rao度量需大量梯度计算，可能限制其在万亿参数或多模态模型上的高性价比应用。目前该研究仍处于这一阶段，尚无后续进展报道。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。