【论文阅读】一些多轮对话文章的体会 ACL 2023

这篇具有很好参考价值的文章主要介绍了【论文阅读】一些多轮对话文章的体会 ACL 2023。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

前言

  • 本文是对昨天看到的ACL 2023三篇多轮对话文章的分享
  • 这三个工作都是根据一些额外属性控制输出的工作,且评估的方面比较相似,可以借鉴

方法

这几篇文章都不是做general任务的,倾向于通过一些额外信息,来做specific任务

  • 【1】提出应该在instance-level上而不是task-level上生成attribute prompt(i.e. user’s persona/dialogue intent)

    • train a lightweight prompt module that takes as input a control attribute(shallow and deep version)
    • 而不是 training static soft tokens for the dialogue task

    【论文阅读】一些多轮对话文章的体会 ACL 2023,论文阅读,自然语言处理,机器学习,人工智能

  • 【2】在inference阶段,基于对话历史预测persona信息来定制dialogue agent,而不依赖显式的persona描述

    • 提出两种方式的persona detection model:
      • 给定模型对话历史,训练其输出的向量与persona向量(通过输入persona description来编码得到)近似
      • 给定模型对话历史,训练其直接生成persona description
    • 多任务训练:将persona detection model 与 dialogue context encoder联合训练
      • 分享第一层参数,可以看作是一个通用的对话信息编码器
      • 训练persona detection model与dialogue model一起最大化ground truth response的概率

    【论文阅读】一些多轮对话文章的体会 ACL 2023,论文阅读,自然语言处理,机器学习,人工智能

  • 【3】生成包含特定语法items的回复(比如现在完成时,虚拟语气,定语从句),尝试了在DialoGPT上用强化学习的方式与基于GPT-3的in-context learning方式,发现都可以

数据集与评估

  • 【1】Dailydialog for label control 与 FoCus for document control

    • Dailydialog :对每句话都标注了dialogue act(图中是标记的是emotiong,act在另一个文件中),一共四种(陈述,问题,指示,承诺)

      【论文阅读】一些多轮对话文章的体会 ACL 2023,论文阅读,自然语言处理,机器学习,人工智能

      【论文阅读】一些多轮对话文章的体会 ACL 2023,论文阅读,自然语言处理,机器学习,人工智能

    • FoCus: 包含user’s persona,希望构建 dialogue agent

    • 评估response

      • controllability for customizing responses
      • n-gram based: BLEU, NIST, ROUGE-L, METEOR for fluency and adequacy
      • distinct n-gram: Dist and Entropy for diversity
      • humane evaluation for consistency between dialogue context and response and attribute controllability
  • 【2】PersonaChat and Dailydialog

    • PersonaChat(arxiv 2018)

      【论文阅读】一些多轮对话文章的体会 ACL 2023,论文阅读,自然语言处理,机器学习,人工智能

    • 为了验证泛化性,在Dailydialog上测试

    • 评估:

      • ppl for fluency
      • Dist for diversity
      • P-Cover for covering persona information
      • human evaluation(20 annotators)
      • etc.
  • 【3】Dailydilog(SCoRE 来训练分类器)文章来源地址https://www.toymoban.com/news/detail-582906.html

    • 评估:
      • Dist for diversity
      • G-Ration for containing the item
      • GOAL for fluency

参考

  • [1]Attribute Controlled Dialogue Prompting
  • [2]Learning to Predict Persona Information for Dialogue Personalization without Explicit Persona Description
  • [3]Generating Dialog Responses with Specified Grammatical Items for Second Language Learning

到了这里,关于【论文阅读】一些多轮对话文章的体会 ACL 2023的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 《论文阅读》具有特殊Token和轮级注意力的层级对话理解 ICLR 2023

    前言 你是否也对于理解论文存在困惑? 你是否也像我之前搜索论文解读,得到只是中文翻译的解读后感到失望? 小白如何从零读懂论文?和我一起来探索吧! 今天为大家带来的是《HIERARCHICAL DIALOGUE UNDERSTANDING WITH SPECIAL TOKENS AND TURN-LEVEL ATTENTION》 出版:ICLR 时间ÿ

    2024年02月15日
    浏览(48)
  • 【论文阅读笔记|ACL2022】Legal Judgment Prediction via Event Extraction with Constraints

    论文题目:Legal Judgment Prediction via Event Extraction with Constraints 论文来源:ACL2022 论文链接:https://aclanthology.org/2022.acl-long.48.pdf 代码链接:GitHub - WAPAY/EPM 近年来,虽然法律判断预测任务(LJP)取得了重大的进展,错误的预测SOTA LJP模型可以部分归因于他们未能(1)定位关键事件信息决

    2023年04月23日
    浏览(50)
  • 【论文阅读】一些研究想法

    打补丁法,可以在一个研究的基础上,找方法来解,但是要讲好这个方法的故事,把不同的点串起来 用有新意的方法有效地解决一个研究问题 新意 有效(相对) 研究问题 在别的领域有研究者在用,但是在这个领域还没有研究者在用 新意度 * 有效性 * 问题大小 = 价值 有效性

    2023年04月17日
    浏览(51)
  • 多轮对话系统

    目录 1. 多轮对话概述 1.1 对话类型分类 1.2 应用场景 2. 基于模块化架构的对话系统 2.1 基于模块化对话框架图 2.2 语言理解模块NLU 2.3 对话管理模块 2.4 语言生成 3. 端到端的对话系统 4. 模块化与端到端对比 4.1 模块化架构的优缺点 4.2 端到端架构的优缺点 5 总结 在自然语言处理

    2024年02月14日
    浏览(38)
  • Rasa 多轮对话机器人

    目录 Rasa 开源机器人 1. 学习资料 2. Rasa 安装 2.1. rasa 简介 2.2. Rasa系统结构 2.3. 项目的基本流程 2.4. Rasa安装 2.5. 组件介绍 3. Rasa NLU 3.0. NLU 推理输出格式 3.1. 训练数据 ./data/nlu.yml 数据文件 3.2. ./config.yml配置文件 4. Rasa Core 4.1. 领域 4.2. 动作Action 4.2.1. 回复动作 4.2.2. 表单 4.2.3. 默

    2024年01月24日
    浏览(53)
  • 【论文阅读】图像信息隐藏文章汇总(含代码)

    Large-capacity Image Steganography Based on Invertible Neural Networks CVPR2021;可逆网络ISN,大容量的实现是靠RGB通道的累加;无公开代码 Multitask Identity-Aware Image Steganography via Minimax Optimization IEEE Transactions on Image Processing2021;提出直接识别防止接收端泄密、其中恢复分支可选;主要涉及身份信息

    2024年04月09日
    浏览(53)
  • 多轮对话(一):概述(意图识别+槽填充)

    一、对话系统 基于流水线的面向任务的对话系统包含了四个关键部分: 语言理解。它被称为自然语言理解(NLU),它把用户话语解析为预定义的语义槽。 对话状态跟踪器。它管理每一轮的输入与对话历史,输出当前对话状态。 对话策略学习。它根据当前对话状态学习下一步

    2024年02月01日
    浏览(51)
  • 扁鹊:指令与多轮问询对话联合微调的医疗对话大模型

    👏🏻 2023.04.22: 基于扁鹊-1.0模型的医疗问答系统Demo,详情访问:https://huggingface.co/spaces/scutcyr/BianQue 👏🏻 2023.04.22: 扁鹊-1.0版本模型发布,详情见:扁鹊-1.0:通过混合指令和多轮医生问询数据集的微调,提高医疗聊天模型的“问”能力(BianQue-1.0: Improving the “Question” Abil

    2024年02月14日
    浏览(37)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包