科波拉多文档摘要中的评价和系统偏差检测免费

资源介绍

多文档摘要 （MDS） 的任务是将任何一组文档中的要点反射到简明的文本段落中。过去，它被用来汇总来自各种来源的新闻、推文、产品评论等。由于任务没有标准定义，我们遇到过多的数据集，参与文档之间存在不同程度的重叠和冲突。MDS 中关于什么是摘要信息也没有标准。雪上加霜的是，新系统报告一组选定数据集的结果，这可能与它们在其他数据集s 上的性能无关。在本文中，我们研究这个异质的任务，在几个广泛使用的MDS公司公司和一套最先进的模型的帮助下。我们试图量化总结语料库的质量，并规定一个要考虑的要点列表，同时提出一个新的MDS语料库。接下来，我们分析缺乏 MDS 系统的原因，该系统可在所有公司中实现卓越的性能。然后，我们观察系统指标的影响程度，以及由于语料库属性而传播偏见的程度。复制此作品中实验的脚本可在此 https URL 中获取。