稀疏Transformer生成建模

OpenAI开发稀疏Transformer，这是一种深度神经网络，在预测序列中下一个元素（文本、图像或声音）方面创下新纪录。它使用注意力机制的算法改进处理比之前长30倍的序列。