一、说明
本文是“用变压器实现德-英语言翻译”系列的第一篇文章。它引入了小规模的嵌入来建立感知系统。接下来是嵌入层的变压器使用。下面简要概述了每种方法，然后是德语到英语的翻译。
二、技术背景
嵌入层的目标是使模型能够详细了解单词、标记或其他输入之间的关系。此嵌入层可以被视为将数据从高维空间转换为低维空间，也可以视为将数据从低维空间映射到高维空间。
2.1 从单热向量到嵌入向量
在自然语言处理中，令牌派生自可能包含章节、段落或句子的数据语料库。这些以各种方式分解成更小的部分，但最常见的标记化方法是按单词。语料库中所有独特的单词都被称为词汇表。
词汇表中的每个单词都被分配一个整数，因为它更容易被计算机处理。有多种方法可以分配这些整数，但同样，最简单的方法是按字母顺序分配它们。文章来源：https://www.toymoban.com/news/detail-680135.html
下图演示了将较大的语料库分解为其组件并为每个组件分配整数的过程。请注意，为简单起见，标点符号被去掉，文本设置为小写。文章来源地址https://www.toymoban.com/news/detail-680135.html
到了这里，关于用变压器实现德-英语言翻译【01/8】:嵌入层的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！
