自然语言处理(八):Lexical Semantics

这篇具有很好参考价值的文章主要介绍了自然语言处理(八):Lexical Semantics。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

目录

1. Sentiment Analysis

2. Lexical Database

2.1 What is Lexical Database

2.2 Definitions

2.3 Meaning Through Dictionary

2.4 WordNet

2.5 Synsets

2.6 Hypernymy Chain

3. Word Similarity

3.1 Word Similarity with Paths

3.2 超越路径长度

3.3 Abstract Nodes

3.4 Concept Probability Of A Node

3.5 Similarity with Information Content

4. Word Sense Disambiguation

4.1 Word Sense Disambiguation

4.2 Supervised WSD 有监督词义消歧

4.3 Unsupervised: Lesk 无监督:Lesk

4.4 Final Words


1. Sentiment Analysis

Bag of words, kNN classifier. Training data 词袋模型,kNN分类器。训练数据:

  • “This is a good movie.” → ☺
  • “This is a great movie.” → ☺
  • “This is a terrible film.” → ☹
  • “This is a wonderful film.” → ?

Two problems:

  • The model does not know that "movie" and "film' are synonyms. Since "film" appears only in negative examples the model learns that it is a negative word. 模型不知道“电影”和“影片”是同义词。因为“影片”只出现在负面例子中,所以模型认为它是一个负面词。
  • "wonderful" is not in the vocabulary (OOV ---- Out-Of-Vocabulary). “wonderful”不在词汇表里

Comparing words directly will not work. How to make sure we compare word meanings instead?

Solution: add this information explicitly through a lexical database. 通过 lexical database 显式添加此信息。

2. Lexical Database

2.1 What is Lexical Database

Their dictionary definition 

  • But dlictionary definitions are necessarily circular
  • Only useful if meaning is already understood

自然语言处理(八):Lexical Semantics

Their relationships with other words

  • Also circular, but better for text analysis

2.2 Definitions

A word sense describes one aspect of the meaning of a word 词义描述了一个词的意义的一个方面

If a word has multiple senses, it is polysemous 如果一个词有多个义项,它就是多义词

自然语言处理(八):Lexical Semantics

2.3 Meaning Through Dictionary

Gloss: textual definition of a sense, given by a dictionary

Bank

  • financial institution that accepts deposits and channels the money into lending activities
  • sloping land (especially the slope beside a body of water)

Another way to define meaning: by looking at how it relates to other words

Synonymy: near identical meaning

  • vomit vs. throw up
  • big vs. large

Antonymy: opposite meaning

  • long vs. short
  • big vs. little

Hypernymy: is-a relation

  • cat is an animal
  • mango is a fruit

Meronymy: part-whole relation

  • leg is part of a chair
  • wheel is part of a car

自然语言处理(八):Lexical Semantics

2.4 WordNet

  • A database of lexical relations 词汇关系数据库
  • English WordNet includes ~120,000 nouns, ~12,000 verbs, ~21,000 adjectives, ~4,000 adverbs 包括大约120,000个名词,12,000个动词,21,000个形容词,4,000个副词
  • On average: noun has 1.23 senses; verbs 2.16 平均名词有1.23个义项;动词有2.16个义项
  • WordNets available in most major languages
  • English version freely available (accessible via NLTK)

自然语言处理(八):Lexical Semantics

2.5 Synsets

Nodes of wordNet are not words or lemmas, but senses

There are represented by sets of synonyms, or synsets

Bass synsets:

自然语言处理(八):Lexical Semantics 

Another synset:

自然语言处理(八):Lexical Semantics

自然语言处理(八):Lexical Semantics

2.6 Hypernymy Chain

自然语言处理(八):Lexical Semantics

3. Word Similarity

  • Synonymy: film vs. movie
  • What about show vs. film? opera vs. film?
  • Unlike synonymy (which is a binary relation), word similarity is a spectrum
  • We can use lexical database (e.g. WordNet) or thesaurus to estimate word similarity

3.1 Word Similarity with Paths

  • 利用WordNet,找到基于路径长度的相似度
  • 两个词汇间的相似度计算方法:
    • simpath(c1, c2) = 1 / pathlen(c1, c2)
    • wordsim(w1,w2) = max{c1∈senses(w1),c2∈senses(w2)} simpath(c1, c2)

自然语言处理(八):Lexical Semantics

  • simpath(nickel,coin) = 0.5
  • simpath(nickel,currency) = 0.25
  • simpath(nickel,money) = 0.17
  • simpath(nickel,Richter scale) = 0.13

3.2 超越路径长度

  • 问题:边缘在实际语义距离上的变化很大
    • 接近等级制度顶端的跳跃要大得多
  • 解决方案1:包含深度信息(Wu & Palmer)
    • 使用 path 查找最小公共子包(LCS)
    • Something 比较使用深度

simwup(c1, c2) = 2 × depth(LCS(c1, c2)) / (depth(c1) + depth(c2))

3.3 Abstract Nodes

  • But node depth is still poor semantic distance metric
    • simwup (nickel, money) = 0.44
    • simwup (nickel, Richter scale) = 0.22
  • Nodes high in the hierarchy is very abstract or general
  • How to better capture them?

3.4 Concept Probability Of A Node

Intuition :

Intuition: general node → high concept probability (e.g. object)

narrow node → low concept probability (e.g. vocalist)

自然语言处理(八):Lexical Semantics

Example

自然语言处理(八):Lexical Semantics 

3.5 Similarity with Information Content

自然语言处理(八):Lexical Semantics

4. Word Sense Disambiguation

4.1 Word Sense Disambiguation

Task: selects the correct sense for words in a sentence 为句子中的词选择正确的词义

Baseline: Assume the most popular sense 假设最常见的词义

Good WSD potentially useful for many tasks 良好的词义消歧对许多任务可能有用

  • Knowing which sense of mouse is used in a sentence is important! 知道句子中mouse的哪个词义很重要!
  • Less popular nowadays; because sense information is implicitly captured by contextual representations (lecture 11) 如今不太受欢迎;因为词义信息被上下文表示隐含地捕获

4.2 Supervised WSD 有监督词义消歧

Apply standard machine classifiers 应用标准的机器分类器

Feature vectors typically words and syntax around target 特征向量通常是目标词周围的单词和语法

  • But context is ambiguous too! 但上下文也是模糊的!
  • How big should context window be? (in practice small) 上下文窗口应该有多大?(实际上较小)

Requires sense-tagged corpora 需要有词义标注的语料库

  • E.g. SENSEVAL, SEMCOR (available in NLTK) 例如 SENSEVAL,SEMCOR(可在NLTK中找到)
  •  Very time consuming to create! 创建非常耗时!

4.3 Unsupervised: Lesk 无监督:Lesk

Lesk:选择WordNet释义与上下文重叠最多的词义

自然语言处理(八):Lexical Semantics

4.4 Final Words

  • Creation of lexical database involves expert curation (linguists) 词汇数据库的创建涉及专家策展(语言学家)
  • Modern methods attempt to derive semantic information directly from corpora, without human intervention 现代方法试图直接从语料库中获取语义信息,无需人工干预
  • Distributional semantics 分布式语义

 文章来源地址https://www.toymoban.com/news/detail-409272.html

到了这里,关于自然语言处理(八):Lexical Semantics的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 以ChatGPT为例进行自然语言处理学习——入门自然语言处理

    ⭐️我叫忆_恒心,一名喜欢书写博客的在读研究生👨‍🎓。 如果觉得本文能帮到您, 麻烦点个赞 👍呗! 近期会不断在专栏里进行更新讲解博客~~~ 有什么问题的小伙伴 欢迎留言提问欧,喜欢的小伙伴给个三连支持一下呗。👍⭐️❤️ Qt5.9专栏 定期更新Qt的一些项目Demo

    2023年04月23日
    浏览(83)
  • 自然语言编程系列(二):自然语言处理(NLP)、编程语言处理(PPL)和GitHub Copilot X

           编程语言处理的核心是计算机如何理解和执行预定义的人工语言(编程语言),而自然语言处理则是研究如何使计算机理解并生成非正式、多样化的自然语言。GPT-4.0作为自然语言处理技术的最新迭代,其编程语言处理能力相较于前代模型有了显著提升。Copilot X 构建于

    2024年02月20日
    浏览(69)
  • 自然语言处理:大语言模型入门介绍

    随着自然语言处理(Natural Language Processing, NLP)的发展,此技术现已广泛应用于文本分类、识别和总结、机器翻译、信息提取、问答系统、情感分析、语音识别、文本生成等任务。 研究人员发现扩展模型规模可以提高模型能力,由此创造了术语——大语言模型(Large Language

    2024年02月12日
    浏览(60)
  • 自然语言处理的发展

            自然语言处理的发展大致经历了四个阶段:萌芽期、快速发展期、低谷的发展期和复苏融合期。 萌芽期(1956年以前):这个阶段可以看作自然语言处理的基础研究阶段。人类文明经过了几千年的发展,积累了大量的数学、语言学和物理学知识,这些知识不仅是计

    2024年01月20日
    浏览(54)
  • 自然语言处理-NLP

    目录 自然语言处理-NLP 致命密码:一场关于语言的较量 自然语言处理的发展历程 兴起时期 符号主义时期 连接主义时期 深度学习时期 自然语言处理技术面临的挑战 语言学角度 同义词问题 情感倾向问题 歧义性问题 对话/篇章等长文本处理问题 探索自然语言理解的本质问题

    2024年02月11日
    浏览(82)
  • NLP(自然语言处理)

     一、NLP是什么 自然语言处理( Natural Language Processing, NLP)是计算机科学领域与人工智能领域中的一个重要方向。它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。自然语言处理是一门融语言学、计算机科学、数学于一体的科学。因此,这一领域的研究

    2024年02月02日
    浏览(72)
  • 自然语言处理(NLP)

    基础 自然语言处理(NLP) 自然语言处理PaddleNLP-词向量应用展示 自然语言处理(NLP)-前预训练时代的自监督学习 自然语言处理PaddleNLP-预训练语言模型及应用 自然语言处理PaddleNLP-文本语义相似度计算(ERNIE-Gram) 自然语言处理PaddleNLP-词法分析技术及其应用 自然语言处理Pa

    2024年02月08日
    浏览(52)
  • 自然语言处理

    2024年01月12日
    浏览(56)
  • 自然语言处理基础

    自然语言处理是人工智能能够通过图灵测试的重要工具。 词性标注:把每句话的各个单词的词性标注出来,例如:形容词、名词、动词 named entity recognition命名实体的识别:识别哪些单词是真实世界中的实体,例如:人名、地名、机构名、时间等 co-reference共指消解:句子中的

    2024年02月07日
    浏览(46)
  • 自然语言处理(NLP) —— 心理语言学

            认知科学和心理语言学是两个密切相关的领域,它们研究 认知过程和语言使用是如何相互作用的。         在历史上,这两个领域的发展经历了几个重要的阶段: 1.1.1 19世纪晚期(内省法)         Wundt 和其他德国心理学家使用一种叫做 内省法 的研究方

    2024年02月21日
    浏览(68)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包