【NLP,Huggingface,Colab】使用 Trainer 训练模型,并保存模型参数

这篇具有很好参考价值的文章主要介绍了【NLP,Huggingface,Colab】使用 Trainer 训练模型,并保存模型参数。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

前置知识

  • Colab 的使用
  • Huggingface 官网和一些基础API

上代码

  • 首先,建议保存代码到 VSCode,这样双击关键类,F12可以进入查看具体接口参数及其含义。
    然后,建议代码在 Colab 运行,第一个是有默认 GPU 资源,第二个是否则会产生各种 ConnectionError, OSError 等错误…
  • 重点可以看注释。自行摸索了一些额外的参数,大多数人都没有讲训练中/后需要保存模型参数…
"""
首先运行如下代码安装库
然后直接运行改代码即可
!pip install datasets transformers
!pip install accelerate -U
"""

from datasets import load_dataset
from transformers import (
    AutoTokenizer,
    DataCollatorWithPadding,
    TrainingArguments,
    AutoModelForSequenceClassification,
    Trainer,
)

# 加载数据集,并加载对应模型的分词器
raw_datasets = load_dataset("glue", "mrpc")
checkpoint = "bert-base-uncased"
tokenizer = AutoTokenizer.from_pretrained(checkpoint)


def tokenize_function(example):
    return tokenizer(example["sentence1"], example["sentence2"], truncation=True)

# 数据集分词并打包,传给data_collator
tokenized_datasets = raw_datasets.map(tokenize_function, batched=True)
data_collator = DataCollatorWithPadding(tokenizer=tokenizer)

# 设置训练参数,这里我选择训练1poch,每处理20%steps就保存,注意最后100%时不保存。
training_args = TrainingArguments(
    "test-trainer",
    num_train_epochs=1,
    save_strategy="steps",
    save_steps=0.2,
)

# 设置模型
model = AutoModelForSequenceClassification.from_pretrained(checkpoint, num_labels=2)

# 设置训练器,提供各种必要参数。
trainer = Trainer(
    model,
    training_args,
    train_dataset=tokenized_datasets["train"],
    eval_dataset=tokenized_datasets["validation"],
    data_collator=data_collator,
    tokenizer=tokenizer,
)

# 训练,结束后保存模型
trainer.train()

model.save_pretrained("./output_model")
  • 最后文件夹如下,test-trainer 保存训练断点,output_model保存训练后参数模型。
    【NLP,Huggingface,Colab】使用 Trainer 训练模型,并保存模型参数,NLP,自然语言处理,人工智能

文章来源地址https://www.toymoban.com/news/detail-544405.html

到了这里,关于【NLP,Huggingface,Colab】使用 Trainer 训练模型,并保存模型参数的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • [NLP]Huggingface模型/数据文件下载方法

    作为一名自然语言处理算法人员,hugging face开源的transformers包在日常的使用十分频繁。在使用过程中,每次使用新模型的时候都需要进行下载。如果训练用的服务器有网,那么可以通过调用from_pretrained方法直接下载模型。但是就本人的体验来看,这种方式尽管方便,但还是会

    2024年02月16日
    浏览(58)
  • 【NLP】哪些现成的“已预先训练的语言模型”可以使用

            预先训练的通用语言表示模型有着如此悠久的历史,具有巨大的影响,我们理所当然地认为它们是所有NLP任务的完全100%必要基础。有两个独立的步进函数创新推动了所有NLP任务的准确性:(1)统计语言模型,如Word2Vec和GloVe,以及最近的(2)神经语言模型,如B

    2024年02月13日
    浏览(37)
  • GPT-LLM-Trainer:如何使用自己的数据轻松快速地微调和训练LLM

    想要轻松快速地使用您自己的数据微调和培训大型语言模型(LLM)?我们知道训练大型语言模型具有挑战性并需要耗费大量计算资源,包括收集和优化数据集、确定合适的模型及编写训练代码等。今天我们将介绍一种实验性新方法,实现特定任务高性能模型的训练。 我们的目

    2024年02月11日
    浏览(43)
  • 【colab】谷歌colab免费服务器训练自己的模型,本文以yolov5为例介绍流程

    目录 一.前言 二.准备工作 1.注册Google drive(谷歌云盘) Google Driver官网:https://drive.google.com/drive/ Colab官网:https://colab.research.google.com/ 2.上传项目文件 3.安装Colaboratory 4.colab相关操作和命令 5.项目相关操作  三.异常处理         本文介绍了在谷歌开放平台Google colab上租用免

    2023年04月08日
    浏览(52)
  • 基于传统网络架构训练图像分类模型(上传到colab中进行运算)

    部署colab参考网站 相关文件:提取码:o2gn 在google drive中部署以上涉及的相关文件夹 这个项目主要是对5类花的图像进行分类 采用迁移学习的方法,迁移学习resnet网络,利用原来的权重作为预训练数据,只训练最后的全连接层的权重参数 ###说明读取的凸显的像素值是在0~255之

    2024年02月16日
    浏览(39)
  • 如何将Python训练好的模型保存下来(可使用or继续训练)

    Python提供了许多机器学习框架,例如Scikit-learn、TensorFlow和PyTorch。这些框架是使用Python编写的,可以方便地训练模型。但是,模型训练是一项昂贵的任务,需要大量的计算资源和时间。一旦模型训练完成,将其保存以便以后使用是非常重要的。 保存Python训练好的模型有多种方

    2024年02月06日
    浏览(40)
  • NLP(六十二)HuggingFace中的Datasets使用

       Datasets 库是 HuggingFace 生态系统中一个重要的数据集库,可用于轻松地访问和共享数据集,这些数据集是关于音频、计算机视觉、以及自然语言处理等领域。 Datasets 库可以通过一行来加载一个数据集,并且可以使用 Hugging Face 强大的数据处理方法来快速准备好你的数据集

    2024年02月15日
    浏览(45)
  • elasticsearch 内网下如何以离线的方式上传任意的huggingFace上的NLP模型(国内避坑指南)

            es自2020年的8.x版本以来,就提供了机器学习的能力。我们可以使用es官方提供的工具eland,将hugging face上的NLP模型,上传到es集群中。利用es的机器学习模块,来运维部署管理模型。配合es的管道处理,来更加便捷的处理数据。         但是在国内操作,根据官方文档

    2024年02月05日
    浏览(93)
  • 使用 Docker 和 HuggingFace 实现 NLP 文本情感分析应用

    在继续分享“干燥、有趣”的向量数据库实战内容之前,我们来聊一篇简单有趣的内容:如何使用 Docker 和 HuggingFace 现成的模型,快速实现一个 NLP 文本情感分析应用,支持中英文内容的情感快速分析。 在这篇文章里,我们不需要准备显卡和语料,也不需要耐心等待“炼丹”

    2023年04月10日
    浏览(40)
  • HuggingFace过去七天最流行的AI模型一览——预训练大模型绝对王者

    HuggingFace是目前最火热的AI社区,很多人称之为AI模型的GitHub。包括Google、微软等很多知名企业都在上面发布模型。 HuggingFace简介:https://www.datalearner.com/blog/1051636550099750 而HuggingFace上提供的流行的模型也是大家应当关注的内容。本文简单介绍一下2023年4月初的七天(当然包括

    2024年02月06日
    浏览(68)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包