Hugging Face Blog·· 2025-08-08AI 评分34
Accelerate ND-Parallel 指南：如何高效进行多 GPU 训练
Accelerate ND-Parallel: A guide to Efficient Multi-GPU Training
AI 导读
Hugging Face 在 Accelerate 中联合 Axolotl 集成了 ND-Parallel 功能，支持在训练脚本中任意组合数据并行、FSDP、张量并行与上下文并行等策略。
来源：Hugging Face Blog · huggingface.co