OpenAI 提出 Sparse Transformer，可处理长 30 倍的序列

OpenAI 开发了 Sparse Transformer，一种深度神经网络，在预测文本、图像或声音序列中下一个内容的任务上创下新纪录。它通过注意力机制的算法改进提取序列模式，可处理的序列长度是此前的 30 倍。