第N4周:使用Word2vec实现文本分类

这篇具有很好参考价值的文章主要介绍了第N4周:使用Word2vec实现文本分类。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

  • 🍨 本文为🔗365天深度学习训练营 中的学习记录博客
  • 🍖 原作者:K同学啊|接辅导、项目定制# 一、课题背景和开发环境
    📌第N4周:使用Word2vec实现文本分类📌

Python 3.8.12
gensim4.3.1
numpy
1.21.5 -> 1.24.3
portalocker2.7.0
pytorch
1.8.1+cu111
torchtext==0.9.1
📌本周任务:📌

结合Word2Vec文本内容(第1列)预测文本标签(第2列)
尝试根据第2周的内容独立实现,尽可能的不看本文的代码
进一步了解并学习Word2Vec
任务说明:
本次将加入Word2vec使用PyTorch实现中文文本分类,Word2Vec则是其中的一种词嵌入方法,是一种用于生成词向量的浅层神经网络模型,由Tomas Mikolov及其团队于2013年提出。**Word2Vec通过学习大量文本数据,将每个单词表示为一个连续的向量,这些向量可以捕捉单词之间的语义和句法关系。**更详细的内容可见训练营内的NLP基础知识,数据示例如下:
第N4周:使用Word2vec实现文本分类,深度学习,word2vec,分类,人工智能文章来源地址https://www.toymoban.com/news/detail-533983.html

二、数据预处理

1.加载数据

warnings.filterwarnings("ignore")  #忽略警告信息
device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
print('device =', device)


print('STEP.1', '-' * 19)
''' 加载自定义中文数据 '''
train_data = pd.read_csv('./data/train.csv', sep='\t', header=None)
print(train_data.head())
# 构造数据集迭代器
def coustom_data_iter(texts, labels):
    for x, y in zip(texts, labels):
        yield x, y
x = train_data[0].values[:]
# 多类标签的one-hot展开
y = train_data[1].values[:]

2.构建词典

print('STEP.2', '-' * 19)
''' 构建词典 '''
# 训练Word2Vec浅层神经网络模型
w2v = Word2Vec(vector_size=100,  #是指特征向量的维度,默认为100。
               min_count=3)      #可以对字典做截断. 词频少于min_count次数的单词会被丢弃掉, 默认值为5。
w2v.build_vocab(x)
w2v.train(x,
          total_examples=w2v.corpus_count,
          epochs=20)

# 将文本转化为向量
def average_vec(text):
    vec = np.zeros((1,100))
    for word in text:
        try:
            vec += w2v.wv[word].reshape((1,100))
        except KeyError:
            continue
    return vec

# 将词向量保存为ndarray
x_vec = np.concatenate([average_vec(z) for z in x])
print('len(x) =', len(x), 'len(x_vec) =', len(x_vec))
# 保存Word2Vec模型及词向量
w2v.save('output/w2v_model.pkl')
train_iter = coustom_data_iter(x_vec, y)

3.生成数据批次和迭代器

print('STEP.3', '-' * 19)
''' 准备数据处理管道 '''
label_name = list(set(train_data[1].values[:]))
print(label_name)
text_pipeline  = lambda x: average_vec(x)
label_pipeline = lambda x: label_name.index(x)
print('你在干嘛', text_pipeline('你在干嘛'))
print('Travel-Query', label_pipeline('Travel-Query'))
''' 生成数据批次和迭代器 '''
def collate_batch(batch):
    label_list, text_list = [], []
    #offsets = [0]
    for (_text, _label) in batch:
        # 标签列表
        label_list.append(label_pipeline(_label))
        # 文本列表
        processed_text = torch.tensor(text_pipeline(_text), dtype=torch.float32)
        text_list.append(processed_text)
        #offsets.append(processed_text.size(0))
    
    label_list = torch.tensor(label_list, dtype=torch.int64)  # torch.Size([64])
    text_list = torch.cat(text_list)  # 若干tensor组成的列表变成一个tensor
    #offsets = torch.tensor(offsets[:-1]).cumsum(dim=0)  # torch.Size([64])
    return text_list.to(device), label_list.to(device)  # , offsets.to(device)
# 数据加载器
#dataloader = DataLoader(train_iter, batch_size=8, shuffle=False, collate_fn=collate_batch)


二、模型构建

1.搭建模型

print('STEP.4', '-' * 19)
''' 搭建文本分类模型 '''
class TextClassificationModel(nn.Module):
    def __init__(self, num_class):
        super(TextClassificationModel, self).__init__()
        self.fc = nn.Linear(100, num_class)
    
    def forward(self, text):
        output = self.fc(text)
        return output

2.初始化模型

print('STEP.5 Initialize', '-' * 19)
''' 初始化实例 '''
num_class  = len(label_name)
vocab_size = 100000  # 词典大小
emsize     = 12      # 嵌入的维度
model      = TextClassificationModel(num_class).to(device)

3.定义训练与评估函数

''' 训练函数 '''
def train(dataloader):
    model.train()  # 训练模式
    total_acc, train_loss, total_count = 0, 0, 0
    log_interval = 50
    start_time = time.time()
    
    for idx, (text, label) in enumerate(dataloader):
        optimizer.zero_grad()  # grad属性归零
        predited_label = model(text)
        loss = criterion(predited_label, label)
        loss.backward()  # 反向传播
        torch.nn.utils.clip_grad_norm_(model.parameters(), 0.1)  # 梯度裁剪
        optimizer.step()  # 每一步自动更新
        # 记录acc与loss
        total_acc += (predited_label.argmax(1) == label).sum().item()
        train_loss  += loss.item()
        total_count += label.size(0)
        if idx % log_interval == 0 and idx > 0:
            elapsed = time.time() - start_time
            print('| epoch {:3d} | {:5d}/{:5d} batches, train_acc {:8.3f} train_loss {:8.3f}'.format(epoch, idx, len(dataloader), total_acc/total_count, train_loss/total_count))
            total_acc, train_loss, total_count = 0, 0, 0
            start_time = time.time()


''' 评估函数 '''
def evaluate(dataloader):
    model.eval()  # 切换为测试模式
    total_acc, train_loss, total_count = 0, 0, 0
    
    with torch.no_grad():
        for idx, (text, label) in enumerate(dataloader):
            predited_label = model(text)
            loss = criterion(predited_label, label)  # 计算loss值
            # 记录测试数据
            total_acc += (predited_label.argmax(1) == label).sum().item()
            train_loss  += loss.item()
            total_count += label.size(0)
    return total_acc/total_count, train_loss/total_count

三、训练模型

1.拆分数据集并运行模型

''' 开始训练 '''
if __name__ == '__main__':
    # 超参数(Hyperparameters)
    EPOCHS     = 10  # epoch
    LR         = 5   # learning rate
    BATCH_SIZE = 64  # batch size for training
    
    criterion = torch.nn.CrossEntropyLoss()
    optimizer = torch.optim.SGD(model.parameters(), lr=LR)
    scheduler = torch.optim.lr_scheduler.StepLR(optimizer, 1.0, gamma=0.1)
    total_accu = None
    # 构建数据集
    train_iter = coustom_data_iter(train_data[0].values[:], train_data[1].values[:])
    train_dataset = list(train_iter)
    # 划分数据集
    num_train = int(len(train_dataset) * 0.8)
    split_train_, split_valid_ = random_split(train_dataset, [num_train, len(train_dataset) - num_train])
    # 加载数据集
    train_dataloader = DataLoader(split_train_, batch_size=BATCH_SIZE, shuffle=True, collate_fn=collate_batch)      # shuffle表示随机打乱
    valid_dataloader = DataLoader(split_valid_, batch_size=BATCH_SIZE, shuffle=True, collate_fn=collate_batch)
    
    for epoch in range(1, EPOCHS + 1):
        epoch_start_time = time.time()
        train(train_dataloader)
        accu_val, loss_val = evaluate(valid_dataloader)
        # 获取当前的学习率
        lr = optimizer.state_dict()['param_groups'][0]['lr']
        if total_accu is not None and total_accu > accu_val:
            scheduler.step()
        else:
            total_accu = accu_val
        print('-' * 59)
        print('| end of epoch {:3d} | time: {:5.2f}s | '
              'valid_acc {:8.3f} valid_loss {:8.3f} | lr {:8.6f}'.format(epoch, time.time()-epoch_start_time, accu_val, loss_val, lr))
        print('-' * 59)
    
    torch.save(model.state_dict(), 'output\\model_TextClassification.pth')
   
    print('Checking the results of test dataset.')
    accu_test, loss_test = evaluate(valid_dataloader)
    print('test accuracy {:8.3f}, test loss {:8.3f}'.format(accu_test, loss_test))

2.测试指定数据

''' 预测函数 '''
def predict(text, text_pipeline):
    with torch.no_grad():
        text = torch.tensor(text_pipeline(text), dtype=torch.float32)
        print(text.shape)
        output = model(text)
        return output.argmax(1).item()


''' 以下是预测 '''
if __name__=='__main__':
    model.load_state_dict(torch.load('output\\model_TextClassification.pth'))
    #label_name = ['Alarm-Update', 'Other', 'Audio-Play', 'Calendar-Query', 'HomeAppliance-Control', 'Radio-Listen', 'Travel-Query', 'Video-Play', 'TVProgram-Play', 'FilmTele-Play', 'Weather-Query', 'Music-Play']
    
    ex_text_str = "随便播放一首专辑阁楼里的佛里的歌"
    #ex_text_str = "还有双鸭山到淮阴的汽车票吗13号的"
    model = model.to("cpu")
    
    print("该文本的类别是:%s" % label_name[predict(ex_text_str, text_pipeline)])

到了这里,关于第N4周:使用Word2vec实现文本分类的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 基于Word2vec词聚类的关键词实现

    基于Word2Vec的词聚类提取包括以下步骤: 整个流程的核心在于使用Word2Vec模型得到词向量,然后通过聚类算法将相似的词语归为一簇,最终提取每个簇的代表性词语作为。这种方法能够捕捉词语之间的语义关系,提高的表达力。 词向量的预处理 基于word2

    2024年01月18日
    浏览(54)
  • Word2Vec详解

    Word2Vec 基本思想:通过训练将每一个词映射成一个固定长度的向量,所有向量构成一个词向量空间,每一个向量(单词)可以看作是向量空间中的一个点,意思越相近的单词距离越近。 如何把词转换为向量? 通常情况下,我们可以维护一个查询表。表中每一行都存储了一个特

    2024年02月13日
    浏览(44)
  • 论文精读--word2vec

    word2vec从大量文本语料中以无监督方式学习语义知识,是用来生成词向量的工具 把文本分散嵌入到另一个离散空间,称作分布式表示,又称为词嵌入(word embedding)或词向量 We propose two novel model architectures for computing continuous vector representations of words from very large data sets. The qua

    2024年02月22日
    浏览(48)
  • 机器学习——Word2Vec

    参考资料: https://zhuanlan.zhihu.com/p/114538417 https://www.cnblogs.com/pinard/p/7243513.html 统计语言模型是基于 语料库 构建的 概率模型 ,用来计算一个词串 W = ( w 1 , w 2 , ⋯   , w T ) W=(w_1,w_2,cdots,w_T) W = ( w 1 ​ , w 2 ​ , ⋯ , w T ​ ) 构成句子的概率 : p ( W ) = p ( w 1 , w 2 , ⋯   . w T ) = p

    2024年02月11日
    浏览(43)
  • 自然语言处理(三):基于跳元模型的word2vec实现

    回顾一下第一节讲过的跳元模型 跳元模型(Skip-gram Model)是一种用于学习词向量的模型,属于Word2Vec算法中的一种。它的目标是通过给定一个中心词语来预测其周围的上下文词语。 这节我们以跳元模型为例,讲解word2vec的实现 文章内容来自李沐大神的《动手学深度学习》并加

    2024年02月11日
    浏览(44)
  • Word2Vec的CBOW模型

    Word2Vec中的CBOW(Continuous Bag of Words)模型是一种用于学习词向量的神经网络模型。CBOW的核心思想是根据上下文中的周围单词来预测目标单词。 例如,对于句子“The cat climbed up the tree”,如果窗口大小为5,那么当中心单词为“climbed”时,上下文单词为“The”、“cat”、“up”

    2024年02月02日
    浏览(47)
  • 大语言模型系列-word2vec

    在前文大语言模型系列-总述已经提到传统NLP的一般流程: 传统的分词向量化的手段是进行简单编码(如one-hot),存在如下缺点: 如果词库过大, one-hot编码生成的向量会造成维度灾难 one-hot编码生成的向量是稀疏的,它们之间的距离相等,无法捕捉单词之间的语义关系。

    2024年01月18日
    浏览(36)
  • 【自然语言处理(NLP)】基于Skip-gram实现Word2Vec

    活动地址:[CSDN21天学习挑战赛](https://marketing.csdn.net/p/bdabfb52c5d56532133df2adc1a728fd) 作者简介 :在校大学生一枚,华为云享专家,阿里云星级博主,腾云先锋(TDP)成员,云曦智划项目总负责人,全国高等学校计算机教学与产业实践资源建设专家委员会(TIPCC)志愿者,以及编程

    2024年02月09日
    浏览(47)
  • 一文了解Word2vec 阐述训练流程

      在机器学习领域,嵌入(embeddings)的概念无疑是其中最令人兴奋的创新之一。想象一下,每当你与 Siri 、 Google Assistant 、 Alexa 或 Google Translate 互动,甚至在使用具有下一个词预测功能的手机输入法(比如苹果输入法、搜狗输入法)时,你其实都在享受词嵌入模型带来的

    2024年02月05日
    浏览(48)
  • 【NLP】Word2Vec原理和认识

            Word2Vec是NLP领域的最新突破。Tomas Mikolov是捷克计算机科学家,目前是CIIRC(捷克信息学,机器人和控制论研究所)的研究员,是word2vec研究和实施的主要贡献者之一。词嵌入是解决NLP中许多问题不可或缺的一部分。它们描绘了人类如何向机器理解语言。您可以将它

    2024年02月12日
    浏览(36)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包