意图分类和范围外预测的评估数据集免费

资源介绍

面向任务的对话系统需要知道查询何时超出其支持意图的范围，但目前的文本分类公司只定义涵盖每个示例的标签集。我们引入了一个新的数据集，其中包括范围外的问题---即不属于系统支持的任何意图的查询。这带来了新的挑战，因为模型不能假定推理时间的每一个查询都属于系统支持的意图类。我们的数据集还涵盖 10 个域的 150 个意向类，捕获了以生产任务为导向的代理必须处理的广度。我们评估数据集中的一系列基准分类器以及几个不同的范围外识别方案。我们发现，虽然分类器在范围内意图分类方面表现良好，但他们很难识别范围外查询。我们的数据集和评估填补了该领域的一个重要空白，为任务驱动对话系统中更严格、更现实地基准文本分类提供了一种方法。