BLOOM 176B 参数模型训练背后的技术揭秘

Hugging Face 披露了 176B 参数多语言模型 BLOOM 的训练技术细节，该模型基于 Megatron-DeepSpeed 框架、采用 3D 并行技术，在 384 块 80GB A100 GPU 上训练了约 3.5 个月。训练数据为 59 种语言、350B token，模型架构类似 GPT3 并做了改进，词表规模 250,680。