Hugging Face 详解高效多模态数据管道：从朴素填充到背包算法

Hugging Face 以 nanoVLM 项目为例，展示如何用五阶段构建高效多模态数据管道，解决 GPU 空转与填充浪费问题。朴素填充方案中约 60% 的 batch 被无用 padding token 占据，团队随后引入全局最大长度约束，并用背包问题（knapsack）策略将序列打包进固定 token 上限的 batch。