Hugging Face Blog·· 2023-08-23精选AI 评分60
Hugging Face 将 AutoGPTQ 集成进 Transformers，支持 8/4/3/2-bit 量化
Making LLMs lighter with AutoGPTQ and transformers
AI 导读
Hugging Face 将 AutoGPTQ 库集成进 Transformers，用户可用 GPTQ 算法把模型量化到 8、4、3 甚至 2-bit 精度运行，4-bit 量化精度损失可忽略，小批量下推理速度与 fp16 基线相当。
推荐理由
Hugging Face 官方说明 GPTQ 量化接入 Transformers 的用法与显存收益，可据此判断本地部署大模型的可行路径。
来源：Hugging Face Blog · huggingface.co