Hugging Face Blog·· 2024-07-18精选AI 评分62
Hugging Face TGI 推出 Multi-LoRA 服务：一次部署可服务 30 个模型
TGI Multi-LoRA: Deploy Once, Serve 30 Models
AI 导读
Hugging Face 为 TGI 推出 Multi-LoRA 服务功能，只需部署一次基础模型，即可根据请求中的 adapter_id 动态加载多个 LoRA 适配器，官方称可服务 30 个模型。
推荐理由
TGI 新增 Multi-LoRA 服务能力，给出部署命令与成本对比，可据此评估多微调模型的合并部署方案。
来源：Hugging Face Blog · huggingface.co