Hugging Face Blog·· 2023-05-24精选AI 评分78
Hugging Face 联合 bitsandbytes 在 transformers 中支持 4-bit 量化与 QLoRA
Making LLMs even more accessible with bitsandbytes, 4-bit quantization and QLoRA
AI 导读
Hugging Face 与 bitsandbytes 合作，在 transformers 中支持以 4-bit 精度加载模型，覆盖文本、视觉和多模态等大多数 HF 模型，并可在 4bit 模型上训练适配器。
推荐理由
Hugging Face 与 bitsandbytes 合作把 4-bit 量化接入 transformers，读者可据此了解消费级硬件跑大模型的具体路径。
来源：Hugging Face Blog · huggingface.co