Hugging Face Blog·· 2024-10-29精选AI 评分62
Universal Assisted Generation：用任意助手模型加速解码
Universal Assisted Generation: Faster Decoding with Any Assistant Model
AI 导读
Intel Labs 与 Hugging Face 提出 Universal Assisted Generation（UAG），让目标模型与助手模型不再需要共享 tokenizer，可跨模型家族配对。
推荐理由
Intel Labs 与 Hugging Face 提出的跨 tokenizer 推测解码方法，给出了可对照的加速数据和 Transformers 调用方式。
来源：Hugging Face Blog · huggingface.co