Hugging Face Blog·· 2025-07-22精选AI 评分60
NVIDIA NIM 支持在 Hugging Face 上部署超 10 万个 LLM
Accelerate a World of LLMs on Hugging Face with NVIDIA NIM
AI 导读
NVIDIA 宣布 NIM 推理微服务现可在 Hugging Face 上快速部署超过 10 万个 LLM。NIM 提供单个 Docker 容器，自动识别模型架构与量化格式（如 FP16、FP8、INT4），并在 NVIDIA TensorRT-LLM、vLLM 和 SGLang 之间选择推理后端，无需手动配置。
推荐理由
NIM 单个容器即可自动识别模型格式并选择 TensorRT-LLM、vLLM 或 SGLang 后端，读者可据此判断部署流程能省掉多少手工调优。
来源：Hugging Face Blog · huggingface.co