跳到正文
原文
Hugging Face Blog·· 2021-10-25AI 评分50

Hugging Face 用 10 亿训练句对训练句嵌入模型

Train a Sentence Embedding Model with 1B Training Pairs

AI 导读

Hugging Face 在社区周期间用 10 亿句对训练出 SOTA 句嵌入模型,硬件为 7 块 TPU v3-8。方法采用批内负样本的对比学习(InfoNCE/NTXentLoss),并指出更大 batch size、难负样本与跨数据集批次能提升效果。模型与数据集已在模型卡中公开。

来源:Hugging Face Blog · huggingface.co