Hugging Face Blog·· 2024-10-08AI 评分50
Intel Labs 与 Hugging Face 推出动态推测解码，文本生成最高提速 2.7 倍
Faster Assisted Generation with Dynamic Speculation
AI 导读
Intel Labs 与 Hugging Face 提出动态推测解码方法，可根据助手模型置信度逐 token 动态调整推测前瞻长度，文本生成最高提速 2.7 倍。
来源：Hugging Face Blog · huggingface.co