艺术视觉问题解答的数据集和基线免费

资源介绍

回答与艺术作品（绘画）有关的问题是一项艰巨的任务，因为它不仅意味着对图片中显示的视觉信息的理解，而且意味着对通过研究艺术史获得的上下文知识的理解。在这项工作中，我们介绍了我们第一次尝试建立一个新的数据集，创造了AQUA（艺术Question答案）。问题答案 （QA） 对使用最先进的问题生成方法自动生成，方法基于现有艺术理解数据集中提供的绘画和评论。QA 对由众包工作者对其语法正确性、应答性和答案正确性进行清洗。我们的数据集本质上包括视觉（基于绘画）和知识（基于评论）问题。我们还提出了一个双分支模型作为基线，其中视觉和知识问题独立处理。我们广泛比较我们的基线模型与最先进的回答问题模型，并提供关于艺术视觉问题解答的挑战和未来潜在方向的全面研究。