1. Toy模板网首页
  2. > Toy博客

论文阅读：Making Large Language Models A Better Foundation For Dense Retrieval

7月前 作者：comli_cn 分类：Toy博客 阅读(37) 违法举报

这篇具有很好参考价值的文章主要介绍了论文阅读：Making Large Language Models A Better Foundation For Dense Retrieval。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

论文链接

Abstract

密集检索需要学习区分性文本嵌入来表示查询和文档之间的语义关系。考虑到大型语言模型在语义理解方面的强大能力，它可能受益于大型语言模型的使用。然而，LLM是由文本生成任务预先训练的，其工作模式与将文本表示为嵌入完全不同。因此，必须研究如何正确地调整LLM，以便它们能够有效地初始化为密集检索的骨干编码器。
在本文中，我们提出了一种新的方法，称为LLaRA（适用于密集检索的LLM），它作为LLM的后验自适应，用于密集检索应用。LLaRA由两个前置任务组成：基于嵌入的自动编码（EBAE）和基于嵌入的自回归（EBAR），其中来自LLM的文本嵌入分别用于重构输入句子的标记和预测下一个句子的标记。LLaRA被证明是简单、轻便和高效的。它被应用于维基百科语料库上的LLaMA-2-7B（基础），在那里它大大提高了模型在各种密集检索基准上的微调性能，如MSMARCO和BEIR。我们的模型和代码将在BGE存储库中公开。

1. Introduction

密集检索是深度神经网络提出的一种新的检索范式。与传统的IR方法不同，密集检索学习将查询和文档表示为同一潜在空间内的嵌入，其中查询和文档之间的语义关系可以通过嵌入相似性来反映。如今，密集检索已经是许多现实应用中的重要组成部分，比如网页搜索和开放域问答。

密集检索的质量受到其骨干编码器容量的严重影响。在过去的几年里，预训练的语言模型，例如BERT、RoBERTa、T5，被广泛应用于查询和文档的表示。文章来源地址https://www.toymoban.com/news/detail-812434.html

到了这里，关于论文阅读：Making Large Language Models A Better Foundation For Dense Retrieval的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处： 如若内容造成侵权/违法违规/事实不符，请点击违法举报进行投诉反馈，一经查实，立即删除！

分享到：
领支付宝红包 赞助服务器费用

相关文章

  • 【论文阅读】Can Large Language Models Empower Molecular Property Prediction?

    【论文阅读】Can Large Language Models Empower Molecular Property Prediction?

    作者：Chen Qian, Huayi Tang, Zhirui Yang 文章链接：Can Large Language Models Empower Molecular Property Prediction? 代码链接：Can Large Language Models Empower Molecular Property Prediction?  分子属性预测得到巨大的关注，分子图能够被描述为图结构的数据或SMILES (Simplified Molecular-Input Line-Entry System)文本。L

    2024年01月20日
    浏览(41)
  • 论文《LoRA: Low-Rank Adaptation of Large Language Models》阅读

    论文《LoRA: Low-Rank Adaptation of Large Language Models》阅读

    今天带来的是由微软Edward Hu等人完成并发表在ICLR 2022上的论文《LoRA: Low-Rank Adaptation of Large Language Models》，论文提出了大模型 tuning 框架 LoRA （ Lo w- R ank A daptation）。 论文地址：https://openreview.net/pdf?id=nZeVKeeFYf9 附录下载地址：https://openreview.net/attachment?id=nZeVKeeFYf9name=supplementa

    2024年02月11日
    浏览(37)
  • 【论文阅读】LoRA: Low-Rank Adaptation of Large Language Models

    【论文阅读】LoRA: Low-Rank Adaptation of Large Language Models

    code：GitHub - microsoft/LoRA: Code for loralib, an implementation of \\\"LoRA: Low-Rank Adaptation of Large Language Models\\\" 做法： 把预训练LLMs里面的参数权重给 冻结 ； 向transformer架构中的每一层， 注入 可训练的 rank decomposition matrices-（低）秩分解矩阵，从而可以显著地减少下游任务所需要的可训练参

    2024年02月03日
    浏览(31)
  • VL 模型 Open-Set Domain Adaptation with Visual-Language Foundation Models 论文阅读笔记

    VL 模型 Open-Set Domain Adaptation with Visual-Language Foundation Models 论文阅读笔记

    写在前面   又是一周周末，在家的时间感觉过得很快呀，下周就能回学校啦~ 论文地址：Open-Set Domain Adaptation with Visual-Language Foundation Models 代码地址：当前版本暂未提供代码地址 预计提交于：CVPR 2024 Ps：2023 年每周一篇博文阅读笔记，主页 更多干货，欢迎关注呀，期待 5

    2024年02月14日
    浏览(30)
  • Unifying Large Language Models and Knowledge Graphs: A Roadmap 论文阅读笔记

    Unifying Large Language Models and Knowledge Graphs: A Roadmap 论文阅读笔记

    NLP, LLM, Generative Pre-training, KGs, Roadmap, Bidirectional Reasoning LLMs are black models and can\\\'t capture and access factual knowledge. KGs are structured knowledge models that explicitly store rich factual knowledge. The combinations of KGs and LLMs have three frameworks,  KG-enhanced LLMs, pre-training and inference stages to provide external knowl

    2024年02月19日
    浏览(32)
  • [论文阅读笔记77]LoRA：Low-Rank Adaptation of Large Language Models

    [论文阅读笔记77]LoRA：Low-Rank Adaptation of Large Language Models

    题目 论文作者与单位 来源 年份 LoRA: Low-Rank Adaptation of Large Language Models microsoft International Conference on Learning Representations 2021 524 Citations 论文链接：https://arxiv.org/pdf/2106.09685.pdf 论文代码：https://github.com/microsoft/LoRA 研究主题 问题背景 核心方法流程 亮点 数据集 结论 论文类型 关

    2024年02月06日
    浏览(37)
  • （论文阅读）Chain-of-Thought Prompting Elicits Reasoningin Large Language Models

    （论文阅读）Chain-of-Thought Prompting Elicits Reasoningin Large Language Models

    论文地址 https://openreview.net/pdf?id=_VjQlMeSB_J         我们探索如何生成一个思维链——一系列中间推理步骤——如何显著提高大型语言模型执行复杂推理的能力。 特别是，我们展示了这种推理能力如何通过一种称为思维链提示的简单方法自然地出现在足够大的语言模型中，

    2024年02月07日
    浏览(65)
  • 【论文阅读】FIGSTEP: JAILBREAKING LARGE VISION-LANGUAGE MODELS VIA TYPOGRAPHIC VISUAL PROMPTS

    【论文阅读】FIGSTEP: JAILBREAKING LARGE VISION-LANGUAGE MODELS VIA TYPOGRAPHIC VISUAL PROMPTS

    提出了一种针对视觉语言模型的新型越狱框架  论文地址：https://arxiv.org/abs/2311.05608 代码地址： GitHub - ThuCCSLab/FigStep: Jailbreaking Large Vision-language Models via Typographic Visual Prompts  1.Motivation VLM可以分为三个模块： 语言模块：是一个预先训练的LLM， 已经安全对齐 。 视觉模块：是

    2024年02月03日
    浏览(27)
  • （论文阅读）Chain-of-Thought Prompting Elicits Reasoning in Large Language Models

    （论文阅读）Chain-of-Thought Prompting Elicits Reasoning in Large Language Models

    论文地址 https://openreview.net/pdf?id=_VjQlMeSB_J         我们探索如何生成一个思维链——一系列中间推理步骤——如何显著提高大型语言模型执行复杂推理的能力。 特别是，我们展示了这种推理能力如何通过一种称为思维链提示的简单方法自然地出现在足够大的语言模型中，

    2024年02月08日
    浏览(87)
  • [论文阅读笔记] TRACE: A Comprehensive Benchmark for Continual Learning In Large Language Models

    [论文阅读笔记] TRACE: A Comprehensive Benchmark for Continual Learning In Large Language Models

    TRACE: A Comprehensive Benchmark for Continual Learning In Large Language Models arXiv2023 复旦大学 Benchmark、Continual Learing、LLMs 已经对齐过的大模型 (Aligned LLMs )能力很强，但持续学习能力缺乏关注； 目前CL的benchmark对于顶尖的LLMs来说过于简单，并且在指令微调存在model的potential exposure。(这里的

    2024年01月18日
    浏览(40)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包，优惠每天领

二维码1

领取红包

二维码2

领红包