Hugging Face 推出面向 Amazon SageMaker 的 LLM 推理容器

Hugging Face 发布 LLM Inference DLC，可在 Amazon SageMaker 上部署开源大语言模型，底层由 Text Generation Inference（TGI）驱动，支持 Tensor Parallelism、bitsandbytes 量化和连续批处理。