Can Large Language Models Understand Real-World Complex Instructions?-Toy模板网

这篇具有很好参考价值的文章主要介绍了Can Large Language Models Understand Real-World Complex Instructions?。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

本文是LLM系列文章，针对《Can Large Language Models Understand Real-World Complex Instructions?》的翻译。

摘要

大型语言模型(llm)可以理解人类指令，显示出它们在传统NLP任务之外的实用应用潜力。然而，它们仍然在与复杂的指令作斗争，这些指令可能是需要多个任务和约束的复杂任务描述，也可能是包含长上下文、噪声、异构信息和多回合格式的复杂输入。由于这些特性，llm经常忽略任务描述中的语义约束，生成不正确的格式，违反长度或样本计数约束，并且不忠实于输入文本。现有的基准不足以评估LLM理解复杂指令的能力，因为它们是封闭和简单的。为了弥补这一差距，我们提出了CELLO，一个评估LLM系统地遵循复杂指令的能力的基准。我们为复杂的指令设计了8个特征，并从现实场景中构建了一个全面的评估数据集。我们还建立了四个标准，并制定了相应的度量标准，因为目前的标准是不充分的，有偏差的或过于严格和粗粒度的。我们通过大量的实验比较了具有代表性的汉语模型和英语模型在遵循复杂指令方面的表现。CELLO的资源可在https://github.com/Abbey4799/CELLO上公开获取。

引言

CELLO基准

实验

结论

在这项工作中，我们系统地研究了LLM的复杂理解能力。我们建立了包含8个特征的复杂指令识别框架，并提出了两阶段的数据集构建框架，最终构建了中文复杂指令评价数据集。此外，我们设计了四个评估标准和相应的指标来评估LLM的复杂指令理解能力。此外，我们进行了大量的实验来比较基准测试中代表性模型的性能。文章来源地址https://www.toymoban.com/news/detail-727158.html

到了这里，关于Can Large Language Models Understand Real-World Complex Instructions?的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！