跳到正文
原文
Hugging Face Blog·· 2023-07-04AI 评分36

如何用 Hugging Face Inference Endpoints 部署 LLM

Deploy LLMs with Hugging Face Inference Endpoints

AI 导读

Hugging Face 发布教程,演示如何用其托管 SaaS 服务 Inference Endpoints 部署开源 LLM,以 Falcon 40B instruct 为例,推荐将实例从 4x NVIDIA T4 换成 1x Nvidia A100,约 10 分钟即可上线。

来源:Hugging Face Blog · huggingface.co