word2vec 究竟学到了什么？伯克利提出可定量预测的学习理论

伯克利 AI 研究团队证明，在若干温和近似条件下，word2vec 的学习问题可化简为无权重最小二乘矩阵分解，其梯度流动力学有闭式解，最终学到的表示等价于对目标矩阵 M* 做 PCA。该矩阵仅由词共现概率 P(i,j) 与一元概率 P(i) 定义，从小初始化训练时模型按离散步骤逐个学习正交线性子空间，每步提升嵌入矩阵的秩并降低损失，理论预测与数值实验高度吻合。