Hugging Face Blog·· 2024-09-18精选AI 评分62
Hugging Face 将 LLM 微调到 1.58bit：极端量化变得简单
Fine-tuning LLMs to 1.58bit: extreme quantization made easy
AI 导读
Hugging Face 团队探索出把已有模型微调到 1.58bit 的方法，成功将 Llama3 8B 微调为三值权重模型，并在 MMLU 上超过 Llama 1 7B。
推荐理由
作者公开了把已有 Llama3 8B 微调到 1.58bit 的完整技巧与踩坑过程，可迁移到其他模型的低比特微调。
来源：Hugging Face Blog · huggingface.co