Hugging Face Blog·· 2022-07-27AI 评分38
Hugging Face:用 TensorFlow 和 XLA 加速文本生成,最高快 100 倍
Faster Text Generation with TensorFlow and XLA
AI 导读
Hugging Face 的 transformers 库在 TensorFlow 下现可用 XLA 编译文本生成,速度最高提升 100 倍,甚至快于 PyTorch。该功能需 transformers >= 4.21.0,示例基于 GPT-2 展示采样、贪心解码与 Beam Search 等生成方式。
来源:Hugging Face Blog · huggingface.co