1. Toy模板网首页
  2. > Toy博客

LLM论文：ALCE （Enabling Large Language Models to Generate Text with Citations）

8月前 作者：__心似大海__ 分类：Toy博客 阅读(34) 违法举报

这篇具有很好参考价值的文章主要介绍了LLM论文：ALCE （Enabling Large Language Models to Generate Text with Citations）。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

这是一篇RAG领域的文章，原文在这：https://aclanthology.org/2023.emnlp-main.398.pdf

时间 [Submitted on 24 May 2023 (v1), last revised 31 Oct 2023 (this version, v2)]
背景 LLM在信息搜索、生成带引用的文本时存在幻觉问题，即事实准确性有待提升，而且用户难以验证准确性。
现有工作的不足 人工评估或商用搜索引擎，难以复现和比较不同模型
解决 提出Automatic LLM Citation Evalutation 自动化评估模型检索生成能力
创新点

1. 评估长文本生成

2. 自动评估引用质量

3. 允许为一个陈述引用多篇文章

具体工作内容：

数据集

有三个数据集，分别是

LLM论文：ALCE （Enabling Large Language Models to Generate Text with Citations）,语言模型,人工智能,自然语言处理

ALCE评估模型：

三方面评估文章来源地址https://www.toymoban.com/news/detail-793106.html

  • 流畅度——MAUVE (Pillutla et al., 2021)
  • 正确性——根据数据集特点，定制了三种评估方式，主要使用了召回率，正确率
  • 引用质量——根据数据集特点，定制了三种评估方式，主要使用了召回率，正确率

检索生成方式

  1. vanilla：提供模型可能包含答案的文章，写提示词告诉他要正确地引用
  2. summ/snippet: 不提供完整的文章而是概要版或某一段，为了减少信息损失，还结合了INTERACT，模型可以选择是否去看一个浓缩版对应的完整的文章
  3. inlinesearch： 不提供检索结果，允许模型调用搜索
  4. closebook：不提供外部文章，让模型闭卷给出答案。

到了这里，关于LLM论文：ALCE （Enabling Large Language Models to Generate Text with Citations）的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处： 如若内容造成侵权/违法违规/事实不符，请点击违法举报进行投诉反馈，一经查实，立即删除！

分享到：
领支付宝红包 赞助服务器费用

相关文章

  • 论文笔记：Large Language Models as Urban Residents:An LLM Agent Framework for Personal Mobility Generati

    论文笔记：Large Language Models as Urban Residents:An LLM Agent Framework for Personal Mobility Generati

    使用LMM生成活动轨迹的开创性工作 理解活动模式（mobility pattern）——能够灵活模拟城市移动性 尽管个体活动轨迹数据由于通信技术的进步而丰富，但其实际使用往往受到隐私顾虑的限制 ——生成的数据可以提供一种可行的替代方案，提供了效用和隐私之间的平衡 之前有很

    2024年03月11日
    浏览(59)
  • [arxiv论文阅读] LiDAR-LLM: Exploring the Potential of Large Language Models for 3D LiDAR Understanding

    [arxiv论文阅读] LiDAR-LLM: Exploring the Potential of Large Language Models for 3D LiDAR Understanding

    Yang, S., Liu, J., Zhang, R., Pan, M., Guo, Z., Li, X., Chen, Z., Gao, P., Guo, Y., Zhang, S. (2023). LiDAR-LLM: Exploring the Potential of Large Language Models for 3D LiDAR Understanding. In arXiv [cs.CV]. arXiv. http://arxiv.org/abs/2312.14074 最近，大型语言模型（LLMs）和多模态大型语言模型（MLLMs）在 指令跟随 和 2D图像理解

    2024年02月02日
    浏览(39)
  • LLM：Training Compute-Optimal Large Language Models

    LLM：Training Compute-Optimal Large Language Models

    论文：https://arxiv.org/pdf/2203.15556.pdf 发表：2022 前文回顾： OpenAI在2020年提出《Scaling Laws for Neural Language Models》：Scaling Laws(缩放法则）也一直影响了后续大模型的训练。其给出的 结论是最佳计算效率训练涉及在相对适中的数据量上训练非常大的模型并在收敛之前early stopping 。

    2024年01月20日
    浏览(36)
  • 大模型 LLM 综述, A Survey of Large Language Models

    大模型 LLM 综述, A Survey of Large Language Models

    一般认为NLP领域的大模型=10 Billion参数(也有人认为是6B、7B, 工业界用, 开始展现涌现能力); 经典大模型有GPT-3、BLOOM、Flan-T5、GPT-NeoX、OPT、GLM-130B、PaLM、LaMDA、LLaMA等; 大模型时间线, 图来自A Survey of Large Language Models，下同。 2.1 涌现 涌现, emerge(abilities), 即一般指在大模型中出现

    2024年02月08日
    浏览(45)
  • LLM预训练大型语言模型Pre-training large language models

    LLM预训练大型语言模型Pre-training large language models

    在上一个视频中，您被介绍到了生成性AI项目的生命周期。 如您所见，在您开始启动您的生成性AI应用的有趣部分之前，有几个步骤需要完成。一旦您确定了您的用例范围，并确定了您需要LLM在您的应用程序中的工作方式，您的下一步就是选择一个要使用的模型。 您首先的选

    2024年02月11日
    浏览(33)

  • 大型语言模型（LLM, Large Language Models）基模和 Chat 模型之间的区别

    最近看大模型相关的知识，有看到大模型都有基础模型（base）和对话模型（chat），不太清楚什么时候用到基础模型，什么时候用到对话模型，故有此文。 通过了解，最简单的概述就是基于基础模型会训练出一个对话（Chat）模型，对话模型主要用于对话场景，基础模型主要做

    2024年02月21日
    浏览(27)
  • LLM 大模型实用指南 | The Practical Guides for Large Language Models

    LLM 大模型实用指南 | The Practical Guides for Large Language Models

    2024年02月09日
    浏览(40)
  • LLM：LoRA: Low-Rank Adaptation of Large Language Models

    LLM：LoRA: Low-Rank Adaptation of Large Language Models

    随着模型规模的不断扩大，微调模型的所有参数（所谓full fine-tuning）的可行性变得越来越低。以GPT-3的175B参数为例，每增加一个新领域就需要完整微调一个新模型，代价和成本很高。 为解决微调大规模语言模型到不同领域和任务的挑战，已有多种方案，比如部分微调、使用

    2024年02月07日
    浏览(32)

  • LLM微调 | LoRA: Low-Rank Adaptation of Large Language Models

    🔥 发表于论文：(2021) LoRA: Low-Rank Adaptation of Large Language Models 😄 目的：大模型预训练+微调范式，微调成本高。LoRA只微调新增的小部分参数。 adapter增加了模型层数，引入了额外的推理延迟； prefix-tuning比较难训练，效果不如直接finetune。 LoRA不会引入额外的延迟，甚至原文中

    2024年02月17日
    浏览(41)
  • 【LLM+三维场景】3D-GPT: Procedural 3D MODELING WITH LARGE LANGUAGE MODELS

    【LLM+三维场景】3D-GPT: Procedural 3D MODELING WITH LARGE LANGUAGE MODELS

    论文主页 论文地址 代码地址（未放） 一句话生成3D世界，未公布代码已获141星！或引发3D建模行业革命 In the pursuit of efficient automated content creation, procedural generation, leveraging modifiable parameters and rule-based systems, emerges as a promising approach. Nonetheless, it could be a demanding endeavor, given i

    2024年03月25日
    浏览(33)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包，优惠每天领

二维码1

领取红包

二维码2

领红包