介绍XLNet的原理及其与BERT的不同点

1、什么是XLNet？

　　首先，XLNet是一个类似于bert的模型，而不是一个完全不同的模型。但它是一个非常有前途和潜力的。总之，XLNet是一种广义的自回归预训练方法。

　　那么，什么是自回归（AR）语言模型？

　　AR语言模型是利用上下文单词预测下一个单词的一种模型。但是在这里，上下文单词被限制在两个方向，要么向前，要么向后。

原作者：Xu LIANG