Hugging Face Blog·· 2023-03-09精选AI 评分66
Hugging Face 集成 trl 与 peft，在 24GB 消费级 GPU 上完成 20B LLM 的 RLHF 微调
Fine-tuning 20B LLMs with RLHF on a 24GB consumer GPU
AI 导读
Hugging Face 正式发布 trl 与 peft 的集成，让大语言模型的 RLHF 微调更易上手。方案结合 8-bit 矩阵乘法、低秩适配器和 peft 的 disable_adapters 机制，用同一份模型同时充当参考模型与活动模型，从而省去第二份模型副本。
推荐理由
原文给出在 24GB 消费级 GPU 上完成 20B 模型 RLHF 微调的具体组合方案，可迁移到其他显存受限的训练场景。
来源：Hugging Face Blog · huggingface.co