跳到正文
原文
Hugging Face Blog·· 2024-10-16AI 评分40

Hugging Face 修复 transformers 梯度累积损失计算错误

Fixing Gradient Accumulation

AI 导读

Hugging Face 修复了 transformers Trainer 中梯度累积的损失计算错误:此前开启梯度累积与全批量训练的损失不一致,正确做法应为累积步内所有批次总损失除以全部非 padding token 数,而非各批次损失的平均值。

来源:Hugging Face Blog · huggingface.co