Hugging Face Blog·· 2024-03-20精选AI 评分62
Hugging Face 介绍 GaLore：在消费级硬件上训练大模型
GaLore: Advancing Large Model Training on Consumer-grade Hardware
AI 导读
Hugging Face 发布博客介绍 GaLore 优化器，可将优化器状态内存占用降低超过 82.5%，让 70 亿参数模型（如 Llama 架构）在 NVIDIA RTX 4090 等消费级 GPU 上训练。
推荐理由
原文给出 GaLore 与 8-bit 优化器结合的完整用法和可运行代码，读者可据此在消费级显卡上复现大模型训练。
来源：Hugging Face Blog · huggingface.co