Hugging Face Blog·· 2023-05-11精选AI 评分62
Hugging Face 提出辅助生成方法，降低文本生成延迟最高 10 倍
Assisted Generation: a new direction toward low-latency text generation
AI 导读
Hugging Face 发布辅助生成（assisted generation）方法，用一个至少小一个数量级的助手模型生成候选 token，再由主模型一次前向验证，从而减少前向次数、降低文本生成延迟。
推荐理由
Hugging Face 官方给出辅助生成方法的原理与可复现代码，读者可据此判断低延迟推理的落地条件。
来源：Hugging Face Blog · huggingface.co