语言认知模型--的学习笔记-Toy模板网

这篇具有很好参考价值的文章主要介绍了语言认知模型--的学习笔记。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

认知语言学：认知科学（cognitive science）与语言学交叉的一个研究分支，是研究人脑的思维、心智、智能、推理和认识等认知机理及其对语言进行分析和理解过程的一门学问
语言认知计算模型：
1. 刻画人脑语言认知和理解过程的形式化模型
2. 目的：建立可计算的、复杂度可控的数学模型，以便在计算机系统上实现对人脑语言理解过程的模拟
3. 实现所谓的“类脑语言信息处理”
  1. 人脑处理语言的认知机理：通过采集分析在某种语言环境下人脑的生理数据，研究人脑对语音、词汇、句法和语义的理解机理
  2. 语言处理过程至少涉及两种并行的过程:
    1. 语义记忆：负责检索单词间的语义特征、关联和语义关系
    2. 语义组合：至少有一个通路负责将单词整合形成更高级的含义
深度神经网络与自然语言处理：
1. 在神经网络模型中融合记忆模块和注意力机制成为了研究的趋势
2. 任务大多解决的是“处理”层面的问题，如边界的切分、语音信号到文字的转换等，而上升到“语义理解”的层面还有太多的问题，如正确理解一幅图像所包含的语义和情感等，仍是极具有挑战性的问题。
人类语言需结合一定的上下文和知识才能理解
语言具有一定的层次结构，具体表现为词、短语、句子、段落以及篇章等不同的语言粒度。为了让计算机可以理解语言，需要将不同粒度的语言都转换成计算机可以处理的数据结构。
1. 连续表示:
  1. 为了解决离散表示所无法解决的““一词多义”和“一义多词”问题
  2. 将语言单位表示为连续语义空间中的一个点，这样的表示方法称之为连续表示
  3. 基于连续表示，词与词之间就可以通过欧式距离或余弦距离等方式来计算相似度
  4. 常用方法:
    1. 分布式表示：基于 Harris 的分布式假设，即如果两个词的上下文相似，那么这两个词也是相似的。
    2. 分散式表示（主流方法）：
      1. 将语言的潜在语法或语义特征分散式地存储在一组神经元中，可以用稠密、低维、连续的向量来表示，也叫嵌入（Embeddings）。
      2. 一个好的词嵌入模型应该是：对于相似的词，它们对应的词嵌入也相近
2. 根据所表示文本的颗粒度的不同，可以分为词、句子、篇章的表示：
  1. 词表示：Word embeddings：
    1. 词嵌入的质量非常依赖于上下文窗口大小的选择
    2. 有研究者关注如何利用已有的知识库来改进词嵌入模型，结合知识图谱和未标注语料在同一语义空间中来联合学习知识和词的向量表示，这样可以更有效地实现词的嵌入
  2. 句子表示：
    1. 很多任务的输入是变长的文本序列，需要将变长的文本序列表示成固定长度的向量
    2. 句子编码主要研究如何有效地从词嵌入通过不同方式的组合得到句子表示
    3. 神经词袋模型：
      1. 简单对文本序列中每个词嵌入进行平均，作为整个序列的表示
      2. 缺点：丢失了词序信息
      3. 对于长文本，神经词袋模型比较有效。但是对于短文本，神经词袋模型很难捕获语义组合信息
    4. 递归神经网络（Recursive Neural Network）：
      1. 按照一个给定的外部拓扑结构（比如成分句法树），不断递归得到整个序列的表示
      2. 缺点：需要给定一个拓扑结构来确定词和词之间的依赖关系，因此限制其使用范围
    5. 循环神经网络（Recurrent Neural Network）：将文本序列看作时间序列，不断更新，最后得到整个序列的表示
    6. 卷积神经网络（Convolutional Neural Network）：”通过多个卷积层和子采样层，最终得到一个固定长度的向量。
    7. 改进：
      1. 综合这些方法的优点，结合具体的任务，已经提出了一些更复杂的组合模型，例如双向循环神经网络（ Bi-directional Recurrent Neural Network）、长短时记忆模型（Long-Short Term Memory）等。
      2. 比如近几年大热的Attention机制、Transformer以及Bert模型
  3. 篇章表示：
    1. 思想：层次化的方法，先得到句子编码，然后以句子编码为输入，进一步得到篇章的表示
    2. 层次化CNN：用卷积神经网络对每个句子进行建模，然后以句子为单位再进行一次卷积和池化操作，得到篇章表示
    3. 层次化RNN：用循环神经网络对每个句子进行建模，然后再用一个循环神经网络建模以句子为单位的序列，得到篇章表示
    4. 混合模型：先用循环神经网络对每个句子进行建模，然后以句子为单位再进行一次卷积和池化操作，得到篇章表示
    5. 循环神经网络因为非常适合处理文本序列，因此被广泛应用在很多自然语言处理任务上。