PyTorch 性能分析（第三部分）：Attention 的 profile 全解析

Hugging Face 博客发布《Profiling in PyTorch》系列第三部分，用 NVIDIA A100-SXM4-80GB 对 attention 做 profile 分析。文章对比朴素 attention 与 in-place 版本，发现把 masked_fill 换成 masked_fill_ 后，每次前向传播可省去一个 Memcpy kernel。