跳到正文
原文
Hugging Face Blog·· 2024-02-23AI 评分40

如何在 Hugging Face 上微调 Gemma 模型

Fine-Tuning Gemma Models in Hugging Face

AI 导读

Hugging Face 发布教程,介绍如何用 Transformers 和 PEFT 库对 Google DeepMind 的开源模型 Gemma(2B 和 7B 参数)进行参数高效微调(PEFT)。教程以 LoRA 为例,结合 QLoRA 的 4-bit 量化,在 GPU 和 Cloud TPU 上以低显存成本完成微调,并使用 Abirate/english_quotes 数据集演示训练流程。

来源:Hugging Face Blog · huggingface.co