Hugging Face Blog·· 2026-01-20AI 评分40
微软 Differential Transformer V2 发布：解码速度对齐标准 Transformer，无需自定义注意力内核
Differential Transformer V2
AI 导读
微软发布 Differential Transformer V2（DIFF V2），在保持 KV 头数量不变的前提下将查询头数量翻倍，使解码速度与标准 Transformer 持平，且无需自定义注意力内核。
来源：Hugging Face Blog · huggingface.co