论文阅读之Reasoning Implicit Sentiment with Chain-of-Thought Prompting

这篇具有很好参考价值的文章主要介绍了论文阅读之Reasoning Implicit Sentiment with Chain-of-Thought Prompting。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

简介

本文主要对2023ACL论文《Reasoning Implicit Sentiment with Chain-of-Thought Prompting》主要内容进行介绍。

摘要

虽然情绪分析任务中通常根据输入文本中的关键意见表达来确定给定目标的情绪极性,但在隐式情绪分析(ISA)中,意见线索通常是隐含或者模糊的。因此,检测隐含情绪需要常识和多跳推理能力来推断意见的潜在意图。在思想链(CoT)思想的启发,本文引入了一个三跳推理(THOR)CoT框架来模拟ISA的模拟人类推理的过程。THOR设计了一个三步提示原则,逐步诱导隐含的方面、观点,最后是情绪的极性。THOR+Flan-T5(11B)在监督微调下将数据集最优性能(SoTA)提高了6%以上。更引人注目的是,THOR+GPT3(175B)在零样本设置下将SoTA提高了50%以上。

引言

论文阅读之Reasoning Implicit Sentiment with Chain-of-Thought Prompting,论文阅读,自然语言处理
情感分析(SA)旨在基于输入文本检测对给定目标的情绪极性。SA可分为显性SA(ESA)和隐性SA(ISA),前者是当前的主流任务,他的情感表达会明确出现在文本中。因此ISA更具挑战性,因为在ISA中,输入仅包含事实描述,没有直接给出明确的意见表达。例如,给定一个文本“Try the tandoori salmon!”,由于没有显著的提示词,几乎所有现有的情绪分类都预测“tandoori salmon”为中性极性。人类很容易准确地确定情绪状态,因为我们总是掌握在文本后面隐含的真实意图或观点。因此,在没有真正理解情绪是如何被激发的情况下,传统的SA方法对ISA是无效的。

THOR

近期大模型的崛起,让我们看到了机器对文本的理解有了新的高度。受到大模型中CoT的启发,文章提出了THOR( Three-hop Reasoning CoT framework),一个三段式的提问框架,能够通过循循善诱地方法,很好的让机器对隐形情感进行挖掘并预测,提升了ISA任务的性能。
论文阅读之Reasoning Implicit Sentiment with Chain-of-Thought Prompting,论文阅读,自然语言处理
如上图所示:
Traditional Prompting,表明传统的提示学习方法就是直接问模型,这句话中这个词的情感极性是什么。

Three-hop Reasoning with CoT Prompting,则是本文提出基于大模型思维链(CoT)的方法,提出的三段式提问框架。首先询问句子在讲述方面词的什么方面;其次,将回答整合后,将整合后的答案继续问方面词背后有什么隐含观点;最后,再次整合前面的回答,最后问方面词的情感极性是什么。

通过THOR我们可以看到,使用CoT的方法循循善诱模型得到的答案为positive是正确的,而传统的提问时neutral是不正确的。

THOR框架具体设置如下:
假设我们要预测的句子为:“The new mobile phone can be just put in my pocket.”
其中要预测的方面词为“The new mobile phone”
不妨设句子为X,设方面词为t
论文阅读之Reasoning Implicit Sentiment with Chain-of-Thought Prompting,论文阅读,自然语言处理
以上述设置为例:
第一步,模型的输入为 Given the sentence “X”, which specific aspect of t is possibly mentioned?
假设模型得到的结果为"The specific aspect of the new mobile phone mentioned in the sentence is the size or portability",记为A

论文阅读之Reasoning Implicit Sentiment with Chain-of-Thought Prompting,论文阅读,自然语言处理
第二步,模型的输入为Given the sentence “X”, A(第一问结果). Based on the common sense, what is the implicit opinion towards the mentioned aspect of the new mobile phone, and why?

假设模型输出为"Based on the mentioned aspect of size and portability, the sentence implies that the phone is small enough to fit in the speaker’s pocket. According
to common sense, the implicit opinion of speaker towards the portability is good, because the speaker is able to easily carry the phone with them by
placing it in their pocket, and find the phone to be convenient and easy to use."这个答案不妨记作O。
论文阅读之Reasoning Implicit Sentiment with Chain-of-Thought Prompting,论文阅读,自然语言处理
第三步,模型的输入为Given the sentence “X”, A(第一问结果), O(第二问的结果). Based on such opinion, what is the sentiment polarity towards the new mobile phone?

此时假设模型的输出为"The sentiment polarity towards the new mobile phone based on the given sentence is positive. The speaker finds the phone to be convenient and easy
to use, implying having a favorable view of the phone."

此时我们可以看到,模型得到了我们需要的预测结果为positive。
论文阅读之Reasoning Implicit Sentiment with Chain-of-Thought Prompting,论文阅读,自然语言处理
此时再来看这幅图,应该是一目了然了吧。

THOR核心代码

def prompt_for_aspect_inferring(context, target):
    new_context = f'Given the sentence "{context}", '
    prompt = new_context + f'which specific aspect of {target} is possibly mentioned?'
    return new_context, prompt


def prompt_for_opinion_inferring(context, target, aspect_expr):
    new_context = context + ' The mentioned aspect is about ' + aspect_expr + '.'
    prompt = new_context + f' Based on the common sense, what is the implicit opinion towards the mentioned aspect of {target}, and why?'
    return new_context, prompt

def prompt_for_polarity_inferring(context, target, opinion_expr):
    new_context = context + f' The opinion towards the mentioned aspect of {target} is ' + opinion_expr + '.'
    prompt = new_context + f' Based on such opinion, what is the sentiment polarity towards {target}?'
    return new_context, prompt

实验结果

文章实验主要是基于Flan-T5大模型做的(因为这是为数不多开源且效果不错的大模型)
论文阅读之Reasoning Implicit Sentiment with Chain-of-Thought Prompting,论文阅读,自然语言处理
这个结果是使用数据集进行监督微调训练后的结果,监督微调大模型确实能够使得模型有更好的表现,但是随着现在预训练大模型越来越大,我们微调的成本也越来越大了。
论文阅读之Reasoning Implicit Sentiment with Chain-of-Thought Prompting,论文阅读,自然语言处理
这个结果是使用zero-shot零样本得到的结果(不对大模型进行微调,直接通过THOR框架或者直接prompt询问结果,省去了微调大模型的时间和需要花费的资源,但是整体效果不如监督微调的结果)。可以看得出使用THOR的方法比直接prompt效果好,并且当用GPT3作为大模型询问时,效果明显好很多,因为GPT3的参数量远大于Flan-T5而且也并不开源,使用起来可能需要花点钱。这说明目前大模型对自然语言的理解缺失已经有了质的飞跃了。

总结

这篇文章使用大模型思维链的思路优化了隐式情感分析中,隐含观点等难以挖掘的难题,使得ISA任务能够有较大性能的提升。随着近些年prompt learning的兴起,提示学习也逐渐成为NLP中的新范式,也让我们逐渐发现,训练出的大模型有很强的能力等待我们去挖掘,就好像一个聪明的小孩,你教他一遍怎么做,他就能帮你把任务做的不错了。文章来源地址https://www.toymoban.com/news/detail-842369.html

到了这里,关于论文阅读之Reasoning Implicit Sentiment with Chain-of-Thought Prompting的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 《Hierarchical Sequence Labeling Model for Aspect Sentiment Triplet Extraction》论文阅读

    文章地址: https://link.springer.com/chapter/10.1007/978-3-030-60450-9_52   在这篇文章中作者提出了一个继承性的序列标注模型( hierarchical sequence labeling model, HSLM)以端到端的方式识别文本语句中所含有的方面级情感三元组(ASTE)。该模型主要有三个部分组成:方面级序列标注模块、

    2024年01月16日
    浏览(104)
  • 【论文阅读笔记】Tag-assisted multimodal sentiment analysis under uncertain missing modalities

    Zeng J, Liu T, Zhou J. Tag-assisted multimodal sentiment analysis under uncertain missing modalities[C]//Proceedings of the 45th International ACM SIGIR Conference on Research and Development in Information Retrieval. 2022: 1545-1554.【开放源码】 【论文概述】 本文提出了一种名为“标签辅助变换器编码器(TATE)网络”的新型多

    2024年01月17日
    浏览(50)
  • (论文阅读)Chain-of-Thought Prompting Elicits Reasoningin Large Language Models

    论文地址 https://openreview.net/pdf?id=_VjQlMeSB_J         我们探索如何生成一个思维链——一系列中间推理步骤——如何显著提高大型语言模型执行复杂推理的能力。 特别是,我们展示了这种推理能力如何通过一种称为思维链提示的简单方法自然地出现在足够大的语言模型中,

    2024年02月07日
    浏览(74)
  • NICE-SLAM: Neural Implicit Scalable Encoding for SLAM论文阅读

    标题 :NICE-SLAM: Neural Implicit Scalable Encoding for SLAM 作者 :Zihan Zhu, Songyou Peng,Viktor Larsson — Zhejiang University 来源 :CVPR 代码 :https://pengsongyou.github.io/nice-slam 时间 :2022 神经隐式(Neural implicit representations)表示最近在同步定位和地图绘制(SLAM)方面有一定的进展,但现有方法

    2024年02月15日
    浏览(49)
  • 《Chain-of-Thought Prompting Elicits Reasoning in Large Language Models》全文翻译

    题目:《Chain-of-Thought Prompting Elicits Reasoning in Large Language Models》 作者:Jason Wei and et al. 会议: NeurlPS 2022 内容概述:论文探索如何生成一个思想链(一系列中间推理步骤)来显着提高大型语言模型执行复杂推理的能力。 我们探索生成一条思维链(一系列中间推理步骤)如何显

    2024年02月09日
    浏览(49)
  • 毫米波雷达成像论文阅读笔记: IEEE TPAMI 2023 | CoIR: Compressive Implicit Radar

    原始笔记链接:https://mp.weixin.qq.com/s?__biz=Mzg4MjgxMjgyMg==mid=2247486680idx=1sn=edf41d4f95395d7294bc958ea68d3a68chksm=cf51be21f826373790bc6d79bcea6eb2cb3d09bb1860bba0af0fd5e60c448ca006976503e460#rd ↑ uparrow ↑ 点击上述链接即可阅读全文 毫米波雷达成像论文阅读笔记: IEEE TPAMI 2023 | CoIR: Compressive Implicit Radar Ab

    2024年02月12日
    浏览(32)
  • 《Chain-of-Thought Prompting Elicits Reasoning in Large Language Models》【大模型思维链】

    思维链,是一系列中间推理步骤,可以显著提高大语言模型执行复杂推理的能力。 思维链:一种简单的提示方法,通过一系列的中间推理步骤,可以大大提高大语言模型执行复杂推理的能力。 下图为使用标准提示词和使用思维链提示词的输出的区别: 与传统Prompt的区别:

    2024年04月23日
    浏览(28)
  • Neural Geometric Level of Detail: Real-time Rendering with Implicit 3D Shapes 论文笔记&环境配置

    发布于 CVPR 2021 论文介绍了一种具有神经SDF的复杂几何实时渲染方法。 论文提出了一种神经SDF表示,可以有效地捕获多个LOD,并以最先进的质量重建3D几何图形。 论文中的架构可以以比传统方法具有更高视觉保真度的压缩格式表示 3D 形状,并且即使在单个学习示例中也能跨不

    2024年01月24日
    浏览(43)
  • CCD多模态去偏框架 论文阅读笔记(Causal Intervention and Counterfactual Reasoning for Multi-modal Fake News Detection)

    论文标题:Causal Intervention and Counterfactual Reasoning for Multi-modal Fake News Detection 论文作者:Ziwei Chen, Linmei Hu, Weixin Li, Yingxia Shao, Liqiang Nie 论文来源:ACL 2023,Paper 代码来源:未公布 目录 引入 贡献 基本知识介绍 因果图 因果关系的干预 反事实推理与因果效应 方法 虚假新闻检测的

    2024年02月08日
    浏览(39)
  • 《论文阅读:Dataset Condensation with Distribution Matching》

    点进去这篇文章的开源地址,才发现这篇文章和DC DSA居然是一个作者,数据浓缩写了三篇论文,第一篇梯度匹配,第二篇数据增强后梯度匹配,第三篇匹配数据分布。DC是匹配浓缩数据和原始数据训练一次后的梯度差,DSA是在DC前加入了一层数据增强,DM直接就匹配浓缩数据和

    2024年02月08日
    浏览(44)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包