基于ChatGPT聊天的零样本信息提取7.25

这篇具有很好参考价值的文章主要介绍了基于ChatGPT聊天的零样本信息提取7.25。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

基于ChatGPT聊天的零样本信息提取7.25,论文,chatgpt,人工智能

摘要

零样本信息提取(IE)旨在从未注释的文本中构建IE系统。由于很少涉及人类干预,因此具有挑战性。

零样本IE减少了数据标记所需的时间和工作量。最近对大型语言模型(LLMs,GFI-3,ChatGPT)的研究在零样本设置下显示出了良好的性能,从而激励我们研究基于提示的方法。

在这项工作中,我们询问是否可以通过直接提示LLM来构建强IE模型。
具体来说,我们将零样本IE任务转换为多轮问题解答问题,使用两阶段框架(ChatIE)。借助ChatGPT的强大功能,我们在三个IE任务上对我们的框架进行了广泛的评估:实体关系三重提取、命名实体识别和事件提取。

在两种语言的六个数据集上的经验结果表明,ChatIE在几种数据集上取得了令人印象深刻的性能,甚至超过了一些完整的模型。

介绍

信息提取旨在将非结构化文本中的结构化信息提取为结构化数据格式,包括实体关系提取(RE)、命名实体识别(NER)、事件提取(EE)等任务。这是自然语言处理中一项有趣的重要任务。处理大量的标签数据总是非常繁忙、劳动密集且耗时。

最近的工作在大规模预训练大语言模型上,例如GPT-3。
InstructGPT和ChatGPT表明,LLM即使不调整参数,仅使用少数示例作为说明,也能很好地执行各种下游任务。因此,这是一个时间问题:LLM提示在同一框架下执行零样本IE任务是否可行。这也是一个挑战,因为包含多个相关元素的结构化数据很容易通过一次预测来提取,尤其是对于像RE这样的复杂任务。以前的工作将这些复杂任务分解为不同的部分,并训练几个模块来解决每个部分。

基于这些线索,在本文中,我们转向ChatGPT,并假设ChatGPT天生具有在交互模式下存放统一正确零样本IE模型的能力。

更具体地说,我们提出了ChatIE,将零样本任务转化为一个多回合问题,并使用两阶段框架回答问题。

  1. 在第一阶段,我们的目的是找出一个句子中可能存在的相应元素类型。
  2. 在第二阶段,我们对来自阶段1的每个元素类型进行链式信息提取。

基于ChatGPT聊天的零样本信息提取7.25,论文,chatgpt,人工智能
每个阶段都通过一个多回合的QA过程来实现。在每一轮,我们都会根据设计的模板和之前提取的信息构建提示,以询问ChatGPT。最后,我们将每个转弯的结果组成结构化数据。我们对IE、NER和EE进行了广泛的实验任务,包括两种语言的六个数据集:英语和汉语。

实验结果表明,当不使用ChatIE的普通ChatGPT无法用原始任务指令解决IE时,当IE任务分解为多个更简单、更容易的子任务时,我们提出的在ChatGPT上实例化的两阶段框架成功了。令人惊讶的是,ChatIE在几个数据集上取得了令人印象深刻的性能,甚至超过了一些全镜头模型。

ChatIE

用于零样本IE的多轮 QA

将IE框架分解成两个阶段,每个阶段都包含几轮QA,参考与ChatGPT的对话。

在第一阶段,我们的目标是在三个任务中分别找出句子中存在的实体、关系或事件的类型。这样,我们过滤掉不存在的元素类型,以减少搜索空间和假设的复杂性,有助于提取信息。

在第二阶段,我们在第一阶段提取的元素类型以及相应的任务特定方案的基础上进一步提取相关信息。

第一阶段:对于这个例子而言,这一步仅包含了一轮QA。为找到在句子中呈现的元素类型,我们首先利用任务特定的 TypeQues模板和元素类型列表 来构建问题。然后我们将问题和句子组合到ChatGPT中。为了便于提取答案,我们要求系统 以列表形式回复 。如果这些内容不包含任何元素类型,系统将生成一个带有NONE Token的响应。

第二阶段:该阶段通常包括多个QA轮次。在那之前,我们根据任务的方案设计了一系列特定的元素类型 ChainExtractionTemplate。ChainExtractionTemplates定义了一个问题链模板,链的长度通常为为1。但对于复杂的方案,如实体关系三重提取中的复数二元值提取,链的长度大于1。在这一点上,一个元素的提取可能依赖于另一个先前的元素,因此我们称之为链式模板(chained template)。
我们按照先前提取的元素类型的顺序以及ChainExtractionTemplates的理论执行多回合QA。为了生成问题,我们需要检索具有元素类型的模板,并在必要时填充相应的槽。然后我们访问ChatGPT并获得响应。最后,我们根据每一轮提取的元素组成结构化信息。同样,为了便于答案提取,我们要求系统以表格形式回复。如果没有提取任何内容,系统将生成一个带有NONE的令牌响应。

实验

总结

这是知识抽取和语言模型的结合,重点在于提出的基于ChatGPT的多轮QA框架——ChatIE,用于零样本信息提取。

ChatIE将每个回合的结果合成最终的结构化结果。

基于ChatGPT聊天的零样本信息提取7.25,论文,chatgpt,人工智能文章来源地址https://www.toymoban.com/news/detail-607551.html

到了这里,关于基于ChatGPT聊天的零样本信息提取7.25的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • Electron-ChatGPT桌面端ChatGPT实例|electron25+vue3聊天AI模板EXE

    基于 electron25+vite4+vue3 仿制chatgpt客户端聊天模板 ElectronChatGPT 。 electron-chatgpt 使用最新桌面端技术 Electron25.x 结合 Vite4.x 全家桶技术开发跨端模仿ChatGPT智能聊天程序模板。支持 经典+分栏两种布局、暗黑+明亮主题模式,集成electron封装多窗口及通讯 功能。 编码工具:vscode 框架

    2024年02月08日
    浏览(41)
  • ChatGPT在语义理解和信息提取中的应用如何?

    ChatGPT在语义理解和信息提取领域有着广泛的应用潜力。语义理解是指对文本进行深层次的理解,包括词义、句义和篇章义等层面的理解。信息提取是指从文本中自动抽取结构化的信息,如实体、关系、事件等。ChatGPT作为一种预训练语言模型,具有丰富的语义理解和上下文感

    2024年02月15日
    浏览(38)
  • 基于局部信息提取的人脸标志检测算法matlab仿真

    目录 1.算法运行效果图预览 2.算法运行软件版本 3.部分核心程序 4.算法理论概述 4.1 人脸检测 4.2 局部区域选择 4.3 特征提取 5.算法完整程序工程 matlab2022a         基于局部信息提取的人脸标志检测算法是计算机视觉和图像处理领域的重要研究方向。该算法旨在从人脸图像中准

    2024年01月19日
    浏览(77)
  • 解密prompt系列25. RLHF改良方案之样本标注:RLAIF & SALMON

    上一章我们主要唠了RLHF训练相关的方案,这一章我们主要针对RLHF的样本构建阶段,引入机器标注来降低人工标注的成本。主要介绍两个方案:RLAIF,和IBM的SALMON。 RLAIF: Scaling Reinforcement Learning from Human Feedback with AI Feedback RLAIF给出的方案是完全使用大模型来进行偏好样本的标注

    2024年03月25日
    浏览(41)
  • 基于小程序制作一个ChatGPT聊天机器人

    在AI技术日新月异的浪潮中,将ChatGPT与实战开发相结合,制作一个随身携带的聊天机器人,紧贴前沿的同时稳固基础。

    2023年04月11日
    浏览(57)
  • 【NLP pytorch】基于标注信息从句子中提取命名实体内容

    给定一个句子和已经通过模型训练标注好的信息,从而提取出句子中的实体内容,如下 输入: (1)句子信息 (2)标注信息

    2024年02月14日
    浏览(63)
  • 基于Tesseract模块Python实现提取图片中的文字信息(安装+使用教程)

    Python实现提取图片中的文字可以使用Optical Character Recognition (OCR) 技术来解决。OCR是指将图像中的文本转换成可编辑的文本的过程。Python有许多OCR库,但最流行和最广泛使用的是Tesseract库。 下面是一个使用Python和Tesseract来提取图像中的文本的简单示例代码。 OCR,即光学字符识

    2024年02月05日
    浏览(46)
  • “智能语音指令解析“ 基于NLP与语音识别的工单关键信息提取

    本文将介绍如何利用 PaddleSpeech 的语音识别技术与 PaddleNLP 的通用信息抽取技术,实现基于智能语音指令解析的关键工单信息提取。我们将通过语音交互的方式,在交通报销场景下实现智能信息抽取,以提高工作效率与质量。 智能语音指令解析集成了语音识别(ASR)与信息抽

    2024年04月12日
    浏览(32)
  • 基于ChatGPT的端到端语音聊天机器人项目实战(三)

    企业级ChatGPT开发入门实战 第1课 基于ChatGPT的端到端语音聊天机器人项目实战 Gavin老师:NLP_Matrix_Space 1.4 使用FastAPI构建语音聊天机器人后端实战 在后端代码(backend)中调用了OpenAI API及其他的服务,如图1-10所示。 图1- 10 后端代码调用OpenAI API openai_requests.py是一个相对比较简单

    2024年02月10日
    浏览(38)
  • 基于ChatGPT的端到端语音聊天机器人项目实战(一)

    基于ChatGPT的端到端语音聊天机器人项目实战 本节主要是跟大家分享一个端到端的基于模型驱动的对话机器人,会有前端和后端,也会有一些具体模型的调用,读者需具有Python语言编程的基础,这是前置性的条件,有了这个基础,理论上讲本节所有的内容,读者都可以掌握,

    2024年02月10日
    浏览(61)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包