一、简介
1.1 在NLP日常工作中，我们需要按几个步骤进行数据处理和模型训练。
1. 先收集数据： 通过爬虫或者其它工具，将数据结构化保存到数据库中。
2. 数据预处理： 其中大部分都是无标签数据，对于无标签数据的可以用无监督做预训练模型，也可以用经过整理后进行标注变成有标签数据。
3. 数据标注： 对于NLP的标注，我们常用的标注包括文本分类，命名实体识别，文本摘要等。
4. 模型训练：对打好标签的数据进行训练，参数调优等
5. 模型评估： 对测试数据或开发数据进行评估，判断模型好坏
6. 不断重复1-5步，优化模型和数据，提高模型性能。
图1、流程图
1.2 通常完成这些步骤耗时数周的时间，所以我们需要整合相关功能到自动化的平台。
本文使用的是工具有:
label-studio: 数据标注工具
transformers: 高度集成的模型训练套件
TextBrewer: 哈工大模型蒸馏工具
flask: 自定义一些api，把标注和模型训练串联起来
二、label-studio
2.1 label-studio扮演的角色文章来源：https://www.toymoban.com/news/detail-673968.html
如下图，label-studio用文章来源地址https://www.toymoban.com/news/detail-673968.html
到了这里，关于安利一个开源的好工具Label Studio, 闭环数据标注和模型训练的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！
