研究：不同 LLM 架构共享 Fisher-Rao 几何结构，可实现通用模型控制

研究发现 Transformer、状态空间模型和循环神经网络等不同 LLM 架构的下一个 Token 概率分布会收敛到相同的 Fisher-Rao 度量，为跨架构行为控制提供通用基础。基于该几何结构的干预可改进模型转向、知识编辑与微调，并将非目标副作用降低多达两个数量级。但估算 Fisher-Rao 度量需大量梯度计算，可能限制其在万亿参数或多模态模型上的高性价比应用。