Hugging Face 为 Intel Gaudi 带来更快的辅助生成支持

Hugging Face 将辅助生成（Assisted Generation）适配并优化到 Intel Gaudi，现已集成进 Optimum Habana。该方法基于 Speculative Sampling，用草稿模型生成 K 个 token 再由目标模型评估，大型 Transformer 模型通常可获得约 2x 加速。