Hugging Face Blog·· 2024-12-19精选AI 评分71
Answer.AI 与 LightOn 发布 ModernBERT，为 BERT 提供替代方案
Finally, a Replacement for BERT: Introducing ModernBERT
AI 导读
Answer.AI 与 LightOn 联合发布 ModernBERT，这是一系列编码器模型，作为 BERT 类模型的直接替换方案，提供 base（149M 参数）和 large（395M 参数）两个版本。
推荐理由
ModernBERT 把近年 LLM 的架构与训练经验移植回编码器，读者可据此判断 BERT 类模型在检索与分类场景的替换空间。
来源：Hugging Face Blog · huggingface.co