Hugging Face 实测：10 亿次分类与嵌入推理的成本优化方案

Hugging Face 博客实测了 10 亿次分类与嵌入推理的成本：在 nvidia-L4（$0.8/hr）上，DistilBERT 情感分类模型处理 10 亿条输入约 $253.82，gte-modernbert-base 嵌入约 $409.44，而 2.21B 参数的 ColQwen2 视觉嵌入高达 $44,496.51。