通过安装残余物来在自然语言推理中未学习数据集偏差免费

资源介绍

统计自然语言推理 （NLI） 模型容易受到学习数据集偏差的影响：表面暗示，恰好与特定数据集上的标签相关联，但一般没有用处，例如，否定词表示矛盾。正如最近几个挑战数据集所暴露的，当这种关联不存在时，这些模型表现不佳，例如，预测"我爱狗"与"我不爱猫"相矛盾。我们的目标是设计防止已知数据集偏差的学习算法。我们将数据集偏置的概念正式化，并在分布转移框架下呈现基于残余拟合的简单偏置算法，我们称之为 DRiFt。我们首先学习一个偏置模型，该模型仅使用已知与数据集偏差相关的功能。然后，我们训练一个与偏置模型的残余相适应的偏置模型，重点是仅通过偏置功能无法很好地预测的示例。我们使用 DRiFt 在两个基准数据集SNLI 和 MNLI 上培训三个高性能 NLI 模型。在两个挑战测试集上，我们的偏向模型比基线模型获得显著收益，同时在原始测试组上保持合理的性能。