一文读懂Embedding

这篇具有很好参考价值的文章主要介绍了一文读懂Embedding。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

一、什么是Embedding?

“Embedding”直译是嵌入式、嵌入层

简单来说,我们常见的地图就是对于现实地理的Embedding,现实的地理地形的信息其实远远超过三维,但是地图通过颜色和等高线等来最大化表现现实的地理信息

通过它,我们在现实世界里的文字、图片、语言、视频就能转化为计算机能识别、能使用的语言,且转化的过程中信息不丢失。

Embedding层,在某种程度上,就是用来降维的,降维的原理就是矩阵乘法。

二、One-Hot编码

One-Hot 编码是分类变量作为二进制向量的表示。

  1. 将分类值映射到整数值。
  2. 然后,每个整数值被表示为二进制向量,除了整数的索引之外,它都是零值,它被标记为1。

举例:

运动特征:[“足球”,“篮球”,“羽毛球”,“乒乓球”](N=4):

足球 => [1,0,0,0]

篮球 => [0,1,0,0]

羽毛球 => [0,0,1,0]

乒乓球 => [0,0,0,1]

优点:

  1. 解决了 分类器不好处理离散数据 的问题。将离散型特征使用 one-hot 编码,会让特征之间的距离计算更加合理。
  2. 在一定程度上也起到了 扩充特征 的作用。

缺点:

在文本特征表示上有些缺点就非常突出了。

  1. 它是一个词袋模型,不考虑词与词之间的顺序(文本中词的顺序信息也是很重要的);
  2. 假设词与词相互独立(在大多数情况下,词与词是相互影响的);
  3. 它得到的特征是离散稀疏的 (这个问题最严重,Embedding降维就是对此优化)。

三、怎么理解Embedding

由于One-Hot编码过于稀疏,过度占用资源,我们使用Embedding对其降维。

假设:我们有一个2 x 6的矩阵,然后乘上一个6 x 3的矩阵后,变成了一个2 x 3的矩阵。

一文读懂Embedding

Embedding层,在某种程度上,就是用来降维的,降维的原理就是矩阵乘法

可以降维,那么embedding也可以升维,对低维的数据进行升维时,可能把一些其他特征给放大了,或者把笼统的特征给分开了

四、Word Embedding

比如将词汇表里的词用 “Royalty”, “Masculinity”, “Femininity” 和 “Age” 4个维度来表示,King 这个词对应的词向量可能是 (0.99,0.99,0.05,0.7)。

一文读懂Embedding

在实际情况中,有时并不能对词向量的每个维度做一个很好的解释,但我们知道他是某一个维度的特征就可以了。

这个过程称为 word embedding(词嵌入),即将高维词向量嵌入到一个低维空间。如图:

一文读懂Embedding

经过我们一系列的降维神操作,有了用 representation 表示的较短的词向量,我们就可以较容易的分析词之间的关系了,比如我们将词的维度降维到 2维,有一个有趣的研究表明,用下图的词向量表示我们的词时,我们可以发现:

一文读懂Embedding

queen(皇后)= king(国王)- man(男人)+ woman(女人)

这样计算机能明白,“皇后啊,就是女性的国王”

walked(过去式)= walking(进行时)- swimming(进行时)+ swam(过去式)

同理计算机也能明白,“walked,就是walking的过去式”

另外,向量间的距离也可能会建立联系,比方说“北京”是“中国”的首都,“巴黎”是“法国”的首都,那么向量:|中国|-|北京|=|法国|-|巴黎|文章来源地址https://www.toymoban.com/news/detail-503811.html

式”

另外,向量间的距离也可能会建立联系,比方说“北京”是“中国”的首都,“巴黎”是“法国”的首都,那么向量:|中国|-|北京|=|法国|-|巴黎|

到了这里,关于一文读懂Embedding的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 什么是嵌入式AI

    人工智能概念: AI,英文的直译就是人工智能,什么是人工智能?计算机科学家们为我们定义了:就是希望计算机有类似人的意识,比如可以推理,自我学习,感情等能力,研究、开发用于模拟、延伸和扩展人智能的理论、方法、技术及应用系统的一门新技术科学。人工智能

    2024年04月23日
    浏览(41)
  • 什么是多态?多态有什么用途?(嵌入式学习)

    多态(Polymorphism)是面向对象编程中的一个重要概念,指的是同一种操作或函数可以在不同的对象上具有不同的行为。它允许以一种统一的方式使用不同类型的对象,而不需要关心具体对象的类型。 多态性可以通过两种方式实现:静态多态和动态多态。 静态多态(Static Pol

    2024年02月09日
    浏览(46)
  • 一文读懂Embedding

    “Embedding”直译是 嵌入式、嵌入层 。 简单来说,我们常见的 地图 就是对于 现实地理的Embedding ,现实的地理地形的信息其实远远超过三维,但是地图通过颜色和等高线等来最大化表现现实的地理 信息 。 通过它,我们在现实世界里的文字、图片、语言、视频就能转化为计算

    2024年02月11日
    浏览(43)
  • 100篇帮小白入门——什么是嵌入式系统?

    嵌入式系统 是指一种基于微处理器或微控制器的特定应用系统,通常在某个产品或系统中被嵌入到一个电路板或芯片中。这种系统通常用于控制和监测各种设备和系统,例如汽车、工业机器人、智能家居和医疗设备等。嵌入式系统的应用广泛,其使用范围覆盖了几乎所有的行

    2024年02月02日
    浏览(53)
  • 进入嵌入式之后究竟会干些什么?

    嵌入式被称为互联网、计算机行业的万金油,未来的就业方向多种多样,工作内容也不一而足,但可以分为如下几个角度: 在大型企业中,一个人很难承担过多的任务,因为这会带来很大的风险。大企业更需要在特定领域具备专业知识的人才,从事专业而独立的工作。 为了

    2024年02月12日
    浏览(48)
  • 嵌入式软件测试笔记12 | 什么是状态转换测试?如何开展?

    嵌入式系统有些表现出基于状态的行为,设计此系统可使用基于状态的建模; 在设计过程中,创建的模型可作为测试设计的基础; 以下将描述基于状态的模型来导出测试用例的技术。 此技术目标是:验证事件、动作、行为与转台转换之间的关系; 通过此技术,可判定系统基

    2024年02月17日
    浏览(60)
  • 详解从0开始的嵌入式学习路线,学什么、怎么学?

    嵌入式是个大筐,什么都可以往里面装,电子、机械、计算机、自动化、测控、通信、物联网……很多很多专业都和嵌入式沾边,硬件、驱动、操作系统、网络、应用、算法……很多同学越学越迷糊,越学越感觉什么也不会。 首先要记住一句话,嵌入式学习奥义: 先观其广

    2024年02月02日
    浏览(63)
  • 单片机、ARM、嵌入式开发、Android 底层开发有什么关系?

    从我目前的见识来看: 单片机是个系统(比如:51、AVR、PLC...),其中包含了去除了输入输出之外的运算器、控制器、存储器,我们用程序可以非常直观的控制引脚电平的高低。最近很多小伙伴找我,说想要一些ARM的资料,然后我根据自己从业十年经验,熬夜搞了几个通宵,

    2024年02月02日
    浏览(71)
  • 嵌入式软件开发工程师未来的薪资待遇是什么情况

    又去了解过嵌入式的人们,其实都是奔着嵌入式软件开发工程师去的,那么想要成为一名优秀的嵌入式软件工程师可没那么简单,那么怎么才能成为嵌入式软件开发工程师呢?下面一起来了解下。 点击获取1V1嵌入式学习规划,现在还送100G精选学习资料。点击领取 一、嵌入式

    2023年04月19日
    浏览(53)
  • 不是说嵌入式是风口吗,那为什么工作还那么难找?

    最近确实有很多媒体、机构渲染嵌入式可以拿高薪 ,这在行业内也是事实,但前提是你有足够的竞争力,真的懂嵌入式。 时至今日,能做嵌入式程序开发的人其实相当常见,尤其是随着树莓派、Arduino等开发板的普及,甚至软件工程师也可以转向嵌入式开发。 然而,真正能够

    2024年02月12日
    浏览(42)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包