ML 面试指南第 5 期：注意力机制 QKV 详解

ML 面试指南第 5 期解析 Transformer 注意力机制中 Query、Key、Value 的含义与作用，用"Query 提问、Key 报名、Value 交答卷"的比喻说明三者分工。文章还解释了缩放点积注意力为何要除以 √dₖ——维度增大导致点积方差变大、softmax 饱和与梯度消失，并讨论了多头注意力在不同子空间捕获依赖关系的优势。