跳到正文
原文
Hugging Face Blog·· 2023-12-20精选AI 评分62

用投机解码让 Whisper 推理提速 2 倍

Speculative Decoding for 2x Faster Whisper Inference

AI 导读

Hugging Face 博客介绍如何用投机解码(Transformers 中的 assisted generation)将 Whisper 推理速度提升约 2 倍,且数学上保证输出与单独使用主模型完全一致。

推荐理由

以 Whisper 为例给出投机解码的完整实现与基准数据,可迁移到其他自回归模型的推理加速。

来源:Hugging Face Blog · huggingface.co