Facebook 和 AI 初创公司 Hugging Face 今天开源了一种 AI 模型检索增强生成（RAG），这是一种自然语言处理模型，可以查找和解释上下文信息来完成一系列任务。

RAG 可以通过通过动态地改变或补充其内部知识，使研究人员能够控制模型掌握的内容，研究人员不必对其计算能力进行再培训就可以获得最先进的结果。

从今天开始，RAG 可以作为 Hugging Face 转换器库的组件提供，与新的数据库集成，提供 RAG 所依赖的索引知识源。

RAG 整合知识的“后期融合”方式

自然语言理解领域的前沿工作已经产生了通用模型，这些模型虽然常常存在缺陷，但是是可以推广的。到目前为止，大多数模型已经应用于无需知识背景就可以生成解决方案的任务中，比如情绪分析这类任务。

相比之下 RAG 使用输入数据从像 Wikipedia 这样的数据库中检索相关的文档。例如，给出一个“地球上第一个哺乳动物是什么时候出现的？”的问题，RAG 可能会提供“哺乳动物”、“地球历史”、“哺乳动物进化”等文献作为上下文与输入连接，然后输入模型以生成输出文本。

根据 Facebook 的说法，RAG 利用了一种“后期融合”的形式来整合检索到的文档中的知识，这意味着它在聚合最终的预测分数之前对文档问题对进行答案预测。当它可以访问包含答案线索的文档时，如果答案不是逐字陈述的，RAG 的性能会进一步提高。在某些情况下，RAG 甚至会生成答案，而这些答案并不包含在检索到的任何文档中。

RAG 擅长知识密集型自然语言问题

Facebook 称，当对诸如包含来自 Google 搜索用户的问题的 NaturalQuestions 之类的开放域数据集进行基准测试时，RAG 显示了在找不到答案的情况下生成正确答案的诀窍。

RAG 还擅长于知识密集型的自然语言问题，Facebook 通过创建受 Jeopardy 启发的问题进行了探索。与其他同类模型相比，RAG 产生的问题更加具体、多样且更加真实。这也许是因为 RAG 能够利用从多个来源获得的不同信息综合出不同的答案的能力。

RAG 的研究经理 Sebastian Riedel 表示，虽然 RAG 在 Facebook 的生产中没有使用，但其背后的团队正在积极迭代以减少潜在的偏见。他们将培训数据集中的文档限制在 Wikipedia 上，他们认为 Wikipedia 比当今许多语言模型的网络爬虫更安全。

RAG 的最大优势：灵活性

研究人员正在探索 RAG 的一个版本，这个版本可以最大程度地降低剩余风险，以便达到一贯的输出安全的程度。他们正在研究如何扩展 RAG，使其多通道化，并使其同时使用多个知识源进行操作。

Sebastian Riedel 说：“RAG 的真正优势在于它的灵活性，要改变一个预先训练过的语言模型所知道的东西，需要用新的文档对整个模型进行再训练。通过 RAG，我们可以通过交换用于知识检索的文档来控制它所知道的内容。我们在带有 RAG 的 NaturalQuestions，CuratedTrec 和 WebQuestions 上获得了非常出色的结果，表明可以用生成的而不是提取的读取器来实现最新的机器读取性能。”

Facebook 认为 RAG 具有广阔的潜力，它断言这将使研究人员能够仅用几行代码就可以为知识密集型任务部署解决方案。

Facebook 方面称，“RAG 允许 NLP 模型绕过再培训步骤，访问和提取最新的信息，然后使用生成器输出结果。我们预见未来对知识密集型任务的研究潜力，这些任务就像今天的情绪分析这样的轻量级知识任务一样简单易懂。”