Hugging Face Blog·2022-01-11 08:00· 2022-01-11AI 评分36

用 Hugging Face Transformers 和 Amazon SageMaker 部署 GPT-J 6B 推理

Deploy GPT-J 6B for inference using Hugging Face Transformers and Amazon SageMaker

AI 导读

Hugging Face 发布教程，介绍如何用 Amazon SageMaker 和 Hugging Face Inference Toolkit 部署 EleutherAI 的 GPT-J 6B 进行实时推理，可在 NVIDIA T4 GPU 实例（约 500 美元/月）上运行。

来源：Hugging Face Blog · huggingface.co