最近，Answer.AI 和 LightOn 联合发布了开源语言模型 ModernBERT，这是对谷歌 BERT 的重大升级。根据开发者的介绍，ModernBERT 在处理速度、效率和质量上都有了显著提升。该模型可以比其前身快四倍，同时使用更少的内存。

ModernBERT 的设计允许它处理长达8192个标记的文本，这比现有编码模型的典型512标记限制提高了16倍。此外，ModernBERT 还是首个经过广泛训练的编程代码编码模型，它在 StackOverflow 问答数据集上的得分超过80，创造了编码模型的新纪录。

在通用语言理解评估（GLUE）中，ModernBERT-Large 的处理速度与准确性达到了最佳平衡，每个标记的处理时间约为20毫秒，得分为90。开发团队形象地将 ModernBERT 比作一辆经过调校的本田思域，强调其在日常应用中可靠而高效。

与现有大型语言模型如 GPT-4相比，ModernBERT 在大规模文本处理上大幅降低了成本。GPT-4每次查询的费用为数美分，而 ModernBERT 则可以在本地运行，更快且更便宜。例如，FineWeb Edu 项目在过滤150亿个标记时，使用 BERT 模型的成本为6万美元，而即便使用谷歌的 Gemini Flash 解码器，成本也超过了100万美元。

开发团队表示，ModernBERT 非常适合多种实际应用，包括检索增强生成（RAG）系统、代码搜索和内容审查。不同于需要专门硬件的 GPT-4，ModernBERT 可以在普通消费级游戏 GPU 上有效运行。

目前，ModernBERT 提供两个版本:基础模型包含1.39亿个参数，大型版本包含3.95亿个参数。两个版本现已在 Hugging Face 上发布，并且用户可以直接用它们替换现有的 BERT 模型。开发团队计划在明年推出更大的版本，但没有多模态能力的计划。为了促进新应用的开发，他们还推出了一项比赛，将向五个最佳演示者奖励100美元和六个月的 Hugging Face 专业订阅。

自2018年谷歌推出 BERT 以来，该模型一直是最受欢迎的语言模型之一，在 HuggingFace 上每月下载量超过6800万次。