Hugging Face Blog·· 2026-08-25精选AI 评分60
Multiverse Computing 提出 Quantization-Aware Healing：4-bit 压缩模型在 7/9 基准上超过其全精度版本
Quantization-Aware Healing: a compressed, 4-bit model that outperforms its full-precision original
AI 导读
Multiverse Computing 发布论文提出 Quantization-Aware Healing（QAH），在 GPT-OSS 120B 压缩到 60B 参数并量化为 MXFP4 后，直接从压缩前的原始模型蒸馏，而非从恢复出的 bfloat16 checkpoint 蒸馏。
推荐理由
论文给出压缩加量化后从原始模型蒸馏的恢复方法，并附9项基准对比，可看4-bit模型反超16-bit来源的具体条件。
来源：Hugging Face Blog · huggingface.co