Explainability for Large Language Models: A Survey

这篇具有很好参考价值的文章主要介绍了Explainability for Large Language Models: A Survey。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

本文是LLM系列文章,针对《Explainability for Large Language Models: A Survey》的翻译。

摘要

大型语言模型(llm)在自然语言处理方面已经展示了令人印象深刻的能力。然而,它们的内部机制仍然不清楚,这种透明度的缺乏给下游应用带来了不必要的风险。因此,理解和解释这些模型对于阐明它们的行为、局限性和社会影响至关重要。在本文中,我们介绍了可解释性技术的分类,并提供了用于解释基于Transformer的语言模型的方法的结构化概述。我们根据LLM的训练范式对技术进行分类:传统的基于微调的范式和基于提示的范式。对于每个范式,我们总结了生成个体预测的局部解释和整体模型知识的全局解释的目标和主要方法。我们还讨论了用于评估生成的解释的度量,并讨论了如何利用解释来调试模型和提高性能。最后,与传统的机器学习模型相比,我们研究了LLM时代解释技术的关键挑战和新兴机遇。

1 引言

2 LLM的训练范式

3 传统微调范式的解释

4 提示范式的解释

5 评估的解释

6 研究挑战

7 结论

在本文中,我们对LLM的可解释性技术进行了全面概述。我们总结了基于模型训练范式的局部和全局解释方法。我们还讨论了使用解释来改进模型、评估和关键挑战。未来的主要发展选择包括开发适合不同LLM的解释方法,评估解释的可信度,以及提高人类的可解释性。随着LLM的不断发展,可解释性将变得极其重要,以确保这些模型透明、公平和有益。我们希望这一调查为这个新兴的研究领域提供一个有用的组织,并突出未来工作的开放性问题。文章来源地址https://www.toymoban.com/news/detail-727159.html

到了这里,关于Explainability for Large Language Models: A Survey的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 论文阅读 A Survey of Large Language Models 3

    为了检验LLM的有效性和优越性,大量的任务和基准被用来进行实证评估和分析。我们首先介绍了LLM语言生成和理解的三种基本评估任务,然后介绍了LLM具有更复杂设置或目标的几个高级任务,最后讨论了现有的基准和实证分析。 在这一部分中,我们主要关注LLM的三种评估任务

    2024年02月13日
    浏览(45)
  • Aligning Large Language Models with Human: A Survey

    本文也是LLM相关的综述文章,针对《Aligning Large Language Models with Human: A Survey》的翻译。 在大量文本语料库上训练的大型语言模型(LLM)已成为一系列自然语言处理(NLP)任务的领先解决方案。尽管这些模型具有显著的性能,但它们容易受到某些限制,如误解人类指令、生成潜

    2024年02月14日
    浏览(46)
  • A Survey on Evaluation of Large Language Models

    这是LLM相关的系列文章,针对《A Survey on Evaluation of Large Language Models》的翻译。 大型语言模型(LLM)由于其在各种应用中前所未有的性能,在学术界和工业界都越来越受欢迎。随着LLM在研究和日常使用中继续发挥重要作用,其评估变得越来越重要,不仅在任务层面,而且在社

    2024年02月13日
    浏览(39)
  • 大模型 LLM 综述, A Survey of Large Language Models

    一般认为NLP领域的大模型=10 Billion参数(也有人认为是6B、7B, 工业界用, 开始展现涌现能力); 经典大模型有GPT-3、BLOOM、Flan-T5、GPT-NeoX、OPT、GLM-130B、PaLM、LaMDA、LLaMA等; 大模型时间线, 图来自A Survey of Large Language Models,下同。 2.1 涌现 涌现, emerge(abilities), 即一般指在大模型中出现

    2024年02月08日
    浏览(57)
  • 大型语言模型综述,非常详细,格局打开!A Survey of Large Language Models

    返回论文和资料目录 论文地址 项目地址 讲得通俗易懂,且格局拉满!基本覆盖了自ChatGPT以来的AI比较火的事件,还多次提到强人工智能AGI(人工通用智能)。对近几年的大型语言模型( Large Language Models)进行了详细介绍。非常建议感兴趣大模型和强人工智能的读者阅读!!

    2024年02月08日
    浏览(52)
  • 视频理解大模型调研论文《Video Understanding with Large Language Models: A Survey》简要介绍

    本文是关于综述论文《Video Understanding with Large Language Models: A Survey》的部分介绍。文章调研了将视频理解和大语言模型结合的最新技术,从任务、方法、评价、应用等方面对视频大语言模型进行介绍。本文写于2024年4月。 有关本专栏的更多内容,请参考大语言模型论文调研专

    2024年04月26日
    浏览(61)
  • 【论文笔记】A Survey of Large Language Models in Medicine - Progress, Application, and Challenges

    将LLMs应用于医学,以协助医生和病人护理,成为人工智能和临床医学领域的一个有前景的研究方向。为此, 本综述提供了医学中LLMs当前进展、应用和面临挑战的全面概述 。 具体来说,旨在回答以下问题: 1)什么是LLMs,如何构建医学LLMs? 2)医学LLMs的下游表现如何? 3)

    2024年02月03日
    浏览(43)
  • 论文解读:Siren’s Song in the AI Ocean: A Survey on Hallucination in Large Language Models

    核心要点 针对大模型幻觉问题进行综述,从detection、explanation和mitigation三个方面进行介绍; 对幻觉现象和评估基准进行归纳,分析现有的缓解幻觉的方法,讨论未来潜在的研究发展 相关文献整理:https://github.com/HillZhang1999/llm-hallucination-survey 一、什么是大模型的幻觉 大模型

    2024年02月02日
    浏览(50)
  • Parallel Context Windows for Large Language Models

    本文是LLM系列文章,针对《Parallel Context Windows for Large Language Models》的翻译。 当应用于处理长文本时,大型语言模型(LLM)受到其上下文窗口的限制。现有的解决这一限制的努力涉及训练专门的体系结构,并且不能很容易地应用于现成的LLM。我们提出了并行上下文窗口(PCW)

    2024年02月10日
    浏览(33)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包