Hugging Face Blog·· 2024-10-16AI 评分40
Hugging Face 修复 transformers 梯度累积损失计算错误
Fixing Gradient Accumulation
AI 导读
Hugging Face 修复了 transformers Trainer 中梯度累积的损失计算错误:此前开启梯度累积与全批量训练的损失不一致,正确做法应为累积步内所有批次总损失除以全部非 padding token 数,而非各批次损失的平均值。
来源:Hugging Face Blog · huggingface.co