Demystifying Prompts in Language Models via Perplexity Estimation

1年前作者：ShadyPi分类：Toy博客阅读(3)违法举报

这篇具有很好参考价值的文章主要介绍了Demystifying Prompts in Language Models via Perplexity Estimation。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

Demystifying Prompts in Language Models via Perplexity Estimation

原文链接

Gonen H, Iyer S, Blevins T, et al. Demystifying prompts in language models via perplexity estimation[J]. arXiv preprint arXiv:2212.04037, 2022.

简单来说就是作者通过在不同LLM和不同任务上的实验，发现低困惑度的prompt更能提升LLM的性能，如下图所示，困惑度和acc大致呈一个负相关的趋势。
Demystifying Prompts in Language Models via Perplexity Estimation,语言模型,人工智能,自然语言处理
作者为了证明自己的猜想，先手写了少量人工prompt，之后交给LLM paraphrase，包括用命令让LLM直接重写以及来回翻译（翻译成别的语言再翻译回来），从而得到了大量prompt。作者之后测试了这些prompt的性能，并计算了困惑度和表现得相似度，基本都是负相关。
Demystifying Prompts in Language Models via Perplexity Estimation,语言模型,人工智能,自然语言处理

基于此，作者提出了一种新的prompt方式，也就是先手写，再paraphrase，最后根据困惑度筛选。
文章来源地址https://www.toymoban.com/news/detail-640695.html

到了这里，关于Demystifying Prompts in Language Models via Perplexity Estimation的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：如若内容造成侵权/违法违规/事实不符，请点击违法举报进行投诉反馈，一经查实，立即删除！

分享到：

领支付宝红包赞助服务器费用

【论文精读】GPT-NER: Named Entity Recognition via Large Language Models
一篇2023年4月26日才挂上arxiv的文章，是我看到的第一篇用LLM解决NER任务的文章，在我看来，LLM才是NER问题的最优解，尤其是小样本场景，具有丰富先验知识的LLM，其涌现能力总能让我叹为观止。 LLM在NER上的表现低于基线，这是因为二者任务不同，前者是文本生成任务，后者是
2024年02月02日
浏览(16)
EVALUATING HALLUCINATIONS IN CHINESE LARGE LANGUAGE MODELS
本文是LLM系列文章，针对《EVALUATING HALLUCINATIONS IN CHINESE LARGE LANGUAGE MODELS》的翻译。在本文中，我们建立了一个名为HalluQA (Chinese Hallucination question - answers)的基准来测量中文大型语言模型中的幻觉现象。HalluQA包含450个精心设计的对抗性问题，跨越多个领域，并考虑到中国的历
2024年02月07日
浏览(11)
In-Context Retrieval-Augmented Language Models
本文是LLM系列文章，针对《In-Context Retrieval-Augmented Language Models》的翻译。检索增强语言建模（RALM）方法在生成过程中对基础语料库中的相关文档设置语言模型（LM），可以显著提高语言建模性能。此外，它们可以缓解事实上不准确的文本生成问题，并提供自然的来源归因机
2024年02月10日
浏览(9)
Progressive-Hint Prompting Improves Reasoning in Large Language Models
本文是LLM系列的文章，针对《Progressive-Hint Prompting Improves Reasoning in Large Language Models》的翻译。大型语言模型（LLM）在推理任务中的性能在很大程度上取决于提示设计，思想链（CoT）和自洽性是增强这种能力的关键方法。然而，这些方法并没有充分利用LLM生成的答案来指导后
2024年02月12日
浏览(9)
Lost in the Middle: How Language Models Use Long Contexts
本文是LLM系列文章，针对《Lost in the Middle: How Language Models Use Long Contexts》的翻译。虽然最近的语言模型能够将长上下文作为输入，但人们对它们使用长上下文的情况知之甚少。我们分析了语言模型在两项任务中的性能，这两项任务需要在输入上下文中识别相关信息：多文档问
2024年02月09日
浏览(6)
Secrets of RLHF in Large Language Models Part I: PPO
本文是LLM系列文章，针对《Secrets of RLHF in Large Language Models Part I: PPO》的翻译。大型语言模型（LLM）为通用人工智能的发展制定了蓝图。它的主要目标是作为一个以人为本（乐于助人、诚实无害）的助手。与人类保持一致具有至关重要的意义，人类反馈强化学习（RLHF）成为支
2024年02月07日
浏览(12)
论文阅读之Multimodal Chain-of-Thought Reasoning in Language Models
本文主要对2023一篇论文《Multimodal Chain-of-Thought Reasoning in Language Models》主要内容进行介绍。大型语言模型（LLM）通过利用思想链（CoT）提示生成中间推理链作为推断答案的基本原理，在复杂推理方面表现出了令人印象深刻的性能。然而，现有的CoT研究主要集中在语言模态上。
2024年03月14日
浏览(16)
Making Large Language Models Perform Better in Knowledge Graph Completion论文阅读
原文链接： Making Large Language Models Perform Better in Knowledge Graph Completion 基于大语言模型（LLM）的知识图补全（KGC）旨在利用 LLM 预测知识图谱中缺失的三元组，并丰富知识图谱，使其成为更好的网络基础设施，这可以使许多基于网络的自动化服务受益。然而，基于LLM的KGC研究有
2024年01月23日
浏览(9)
论文解读: 2023-Lost in the Middle: How Language Models Use Long Contexts
大模型使用的关键在于Prompt，然而大模型存在幻觉现象，如何减少这种现象的发生成为迫切解决的问题。外部知识库+LLM的方法可以缓解大模型幻觉，但是如何撰写Prompt才能发挥LLM的性能。下面介绍这篇论文说明上下文信息出现在Prompt什么位置使模型表现最佳，以及上下文文本
2024年02月17日
浏览(10)
（论文阅读）Chain-of-Thought Prompting Elicits Reasoning in Large Language Models
论文地址 https://openreview.net/pdf?id=_VjQlMeSB_J 我们探索如何生成一个思维链——一系列中间推理步骤——如何显著提高大型语言模型执行复杂推理的能力。特别是，我们展示了这种推理能力如何通过一种称为思维链提示的简单方法自然地出现在足够大的语言模型中，
2024年02月08日
浏览(12)