PhotoBook数据集：通过视觉上的对话建立共同点免费

资源介绍

本文介绍了PhotoBook数据集，这是一个以视觉为基础，面向任务的英语对话的大规模集合，旨在调查对话期间积累的共享对话历史。从对话分析的开创性工作中汲取灵感，我们提出了一项数据收集任务，该任务被表述为协作游戏，促使两个在线参与者利用他们的视觉环境以及先前建立的引用表达来引用图像。我们提供了任务设置的详细说明，并对收集的2,500个对话进行了全面分析。为了进一步说明数据集的新颖特征，我们提出了一种参考分辨率的基线模型，该模型使用一种简单的方法来考虑参考链中积累的共享信息。我们的结果表明，此信息对于解决以后的描述特别重要，并强调了在对话交互中开发更复杂的共同点模型的需求。