Hugging Face Blog·· 2024-10-23精选AI 评分60
Hugging Face 推出 HUGS 生成式 AI 服务,零配置部署开源模型
Introducing HUGS - Scale your AI with Open Models
AI 导读
Hugging Face 发布生成式 AI 服务 HUGS,提供零配置的优化推理微服务,基于 Text Generation Inference 和 Transformers,支持 NVIDIA、AMD GPU,AWS Inferentia 和 Google TPU 即将支持。
推荐理由
HUGS 把开源模型的推理部署从数周压缩到分钟级,并给出兼容 OpenAI API 的落地路径,可据此判断自托管开源模型的工程成本。
来源:Hugging Face Blog · huggingface.co