无人监督的语料库感知语言模型密集通道检索预培训免费

资源介绍

最近的研究表明，使用微调的语言模型[（LM）进行密集检索的有效性。然而，密集的猎犬很难训练，通常需要经过大量工程的微调管道才能充分发挥其潜力。在本文中，我们识别并解决了密集猎犬的两个基本问题：i） 训练数据噪声的脆弱性和 ii） [ 要求大批量强健地学习嵌入空间。我们使用最近提出的冷凝器培训前架构，该架构通过 LM 预培训将信息凝结到密集的载体中。最重要的是，我们建议合作，它增加了一个无人监督的语料库级对比损失，以热身通道嵌入空间。对 MS-MARCO、自然问题和琐事 QA数据集的检索实验表明，coCondenser 无需进行大量数据工程（如增强、合成或过滤）以及大量批量培训。它显示了与RockedQA相当的性能，RocketQA是一个最先进的、经过大量设计的系统，使用简单的小批量微调。