在 Intel Xeon 上用 🤗 Optimum Intel 加速 StarCoder：Q8/Q4 量化与推测解码

借助 8bit/4bit 量化与辅助生成（assisted generation），StarCoder-15B 在第四代 Intel Xeon 上实现超过 7 倍的推理加速。其中 Q8-StarCoder 采用 SmoothQuant 静态量化，精度与 BF16 基线持平甚至略有提升，TTFT 与 TPOT 分别提速约 2.19 倍和 2.20 倍。