论文辅助笔记:t2vec 模型部分

这篇具有很好参考价值的文章主要介绍了论文辅助笔记:t2vec 模型部分。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

1 t2vec.py 函数

命令行参数

data 训练、测试数据路径
checkpoint 保存的检查点路径
prefix trjfile的前缀
pretrained_embedding 预训练的词(或称为单元)嵌入的路径 。默认值是None
num_layers RNN单元中的层数。默认值是3
bidirectional 在编码器中是否使用双向rnn。默认值是True
hidden_size RNN单元中的隐藏状态大小。默认值是256。
embedding_size 词(或称为单元)嵌入的大小。默认值是256。
dropout dropout的概率。默认值是0.2
max_grad_norm 最大梯度范数。默认值是5.0。
learning_rate 学习率。默认值是0.001
batch 批处理大小。默认值是128
generator_batch 每次生成的最大词数。数值越高,需要的内存越多。默认值是32。
t2vec_batch 每次在t2vec中编码的最大轨迹数。默认值是256。
start_iteration 开始的迭代次数。默认值是0。
epochs 训练的周期数。默认值是15。
print_freq 打印频率。默认值是50。
save_freq: 保存频率。默认值是1000。
cuda 是否使用GPU来训练模型。默认值是True
use_discriminative 如果给定此参数,将使用判别损失。
discriminative_w 判别损失的权重。默认值是0.1
criterion_name 使用的损失函数名称。可以是NLL(负对数似然)或KLDIV(KL 散度)。默认值是NLL
knearestvocabs KLDIVLoss中使用的k最近的单元和距离的文件,由预处理生成,如果使用KLDIVLoss则必需。
dist_decay_speed 在dist2weight中距离衰减的速度。数值越小,远离的单元的权重越高。默认值是0.8。
max_num_line 默认值是20000000
max_length 目标序列的最大长度。默认值是200
mode 运行模式(0: 训练,1:评估,2:t2vec)。默认值是0
vocab_size 词汇表大小。默认值是0
bucketsize

训练时的桶大小。默认值是一系列的元组

  • 桶是一种策略,用于在序列长度可变的情况下处理数据。
  • 例如,假设我们有不同长度的句子,我们可能不希望为每个句子单独创建一个批处理,因为这会非常低效。
  • 桶策略是将句子放入一个接近它们长度的桶中,以尽量减少填充。 

2 train t2vec (mode 0)

几个注意事项:

numpy 版本不能过高 1.23以下

原github给的vocab_size有点问题,调整到20000就好了

论文辅助笔记:t2vec 模型部分,笔记

论文辅助笔记:t2vec 模型部分,笔记

论文辅助笔记:t2vec 模型部分,笔记

3 evaluate mode 1

论文辅助笔记:t2vec 模型部分,笔记文章来源地址https://www.toymoban.com/news/detail-743620.html

到了这里,关于论文辅助笔记:t2vec 模型部分的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 大语言模型系列-word2vec

    在前文大语言模型系列-总述已经提到传统NLP的一般流程: 传统的分词向量化的手段是进行简单编码(如one-hot),存在如下缺点: 如果词库过大, one-hot编码生成的向量会造成维度灾难 one-hot编码生成的向量是稀疏的,它们之间的距离相等,无法捕捉单词之间的语义关系。

    2024年01月18日
    浏览(37)
  • Word2Vec的CBOW模型

    Word2Vec中的CBOW(Continuous Bag of Words)模型是一种用于学习词向量的神经网络模型。CBOW的核心思想是根据上下文中的周围单词来预测目标单词。 例如,对于句子“The cat climbed up the tree”,如果窗口大小为5,那么当中心单词为“climbed”时,上下文单词为“The”、“cat”、“up”

    2024年02月02日
    浏览(47)
  • 自然语言处理-词向量模型-Word2Vec

    通常数据的维度越高,能提供的信息也就越多,从而计算结果的可靠性就更值得信赖 如何来描述语言的特征呢,通常都在词的层面上构建特征,Word2Vec就是要把词转换成向量 假设现在已经拿到一份训练好的词向量,其中每一个词都表示为50维的向量 如果在热度图中显示,结果

    2024年02月09日
    浏览(53)
  • Word2Vec模型——将文本转换成向量的方法

            在美赛的时候,用了一下这个模型,发一下。         Word2Vec是一种用于将文本转换为向量表示的技术。它是Google在2013年开发的一种工具,主要用于将单词转换为向量表示,并在向量空间中找到单词之间的语义关系。Word2Vec模型有两种架构:连续词袋模型(Conti

    2023年04月21日
    浏览(34)
  • 自然语言处理(三):基于跳元模型的word2vec实现

    回顾一下第一节讲过的跳元模型 跳元模型(Skip-gram Model)是一种用于学习词向量的模型,属于Word2Vec算法中的一种。它的目标是通过给定一个中心词语来预测其周围的上下文词语。 这节我们以跳元模型为例,讲解word2vec的实现 文章内容来自李沐大神的《动手学深度学习》并加

    2024年02月11日
    浏览(44)
  • 机器学习笔记--DeepWalk和Node2Vec图嵌入代码实战一

    CS224W公开课:双语字幕 斯坦福CS224W《图机器学习》课程(2021) by Jure Leskove 官方课程主页:官方主页 子豪兄精讲:斯坦福CS224W图机器学习、图神经网络、知识图谱 同济子豪兄 子豪兄公开代码:同济子豪兄CS224W公开课 基于图的项目: 读论文、搜论文、做笔记、吐槽论文的社区

    2024年02月03日
    浏览(38)
  • 深度学习(3)--递归神经网络(RNN)和词向量模型Word2Vec

    目录 一.递归神经网络基础概念 二.自然语言处理-词向量模型Word2Vec 2.1.词向量模型 2.2.常用模型对比 2.3.负采样方案 2.4.词向量训练过程 递归神经网络(Recursive Neural Network, RNN)可以解决有时间序列的问题,处理诸如树、图这样的递归结构。 CNN主要应用在计算机视觉CV中,RNN主要

    2024年01月21日
    浏览(42)
  • 深度学习笔记之Transformer(五) Position Embedding铺垫:Word2vec

    在Transformer(三)自注意力机制一节中介绍了 位置编码 ( Position Embedding ) (text{Position Embedding}) ( Position Embedding ) ,本系列针对位置编码 再回首 ,从公式角度重新认识位置编码。本节作为铺垫,介绍一下 词向量 模型—— Word2vec text{Word2vec} Word2vec 。 在循环神经网络简单示例中

    2024年02月13日
    浏览(35)
  • 【自然语言】使用词袋模型,TF-IDF模型和Word2Vec模型进行文本向量化

    一、任务目标 python代码写将 HarryPorter 电子书作为语料库,分别使用词袋模型,TF-IDF模型和Word2Vec模型进行文本向量化。 1. 首先将数据预处理,Word2Vec 训练时要求考虑每个单词前后的五个词汇,地址为 作为其上下文 ,生成的向量维度为50维 2.分别搜索 courtroom 和 wizard 这两个词

    2024年04月14日
    浏览(48)
  • 【NLP】如何实现快速加载gensim word2vec的预训练的词向量模型

    通过以下代码,实现加载word2vec词向量,每次加载都是几分钟,效率特别低。 (1)方案一 第一次加载后保存为能够快速加载的文件,第二次加载就能快读读取。 (2)方案二 第一次加载后,只将使用到的词向量以表格的形式保存到本地,第二次读取就不需要加载全部word2ve

    2024年03月14日
    浏览(46)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包