NVIDIA NeMo AutoModel 加速 Transformers MoE 微调

NVIDIA 发布开源库 NeMo AutoModel，在 HuggingFace Transformers v5 之上加入 Expert Parallelism、DeepEP 融合 all-to-all 调度和 TransformerEngine 内核，微调 MoE 模型时训练吞吐提升 3.4-3.7 倍、GPU 显存减少 29-32%，且只需改动一行 import。