Hugging Face Blog·· 2024-08-14AI 评分32
一次失败的实验：Infini-Attention 为何难以复现，我们还应继续尝试吗？
A failed experiment: Infini-Attention, and why we should keep trying?
AI 导读
Hugging Face 复现 Google 的 Infini-Attention 发现，随着记忆压缩次数增加，模型性能持续下降，且 90% 的调试时间花在收敛问题上。
来源：Hugging Face Blog · huggingface.co