[算法前沿]--031-Transformers的抽取式问答

9月前作者：三更两点分类：Toy博客阅读(46) 违法举报

这篇具有很好参考价值的文章主要介绍了[算法前沿]--031-Transformers的抽取式问答。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

# !pip install datasets transformers

在机器问答任务上微调transformer模型

在这个notebook中，我们将学习到如何微调🤗 Transformers的transformer模型来解决机器问答任务。本文主要解决的是抽取式问答任务：给定一个问题和一段文本，从这段文本中找出能回答该问题的文本片段（span）。通过使用Trainer API和dataset包，我们将轻松加载数据集，然后微调transformers。下图给出了一个简单的例子
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-RO7Xz5PI-1687941285189)(images/question_answering.png)]

Note: 注意：本文的问答任务是从文本中抽取答案，并不是直接生成答案！

本notebook设计的例子可以用来解决任何和SQUAD 1和SQUAD 2类似的抽取式问答任务，并且可以使用模型库Model Hub的任何模型checkpoint，只要这些模型包含了一个token classification head 和一个fast tokenizer。关于模型和fast tokenizer的对应关系见：文章来源地址https://www.toymoban.com/news/detail-509225.html

到了这里，关于[算法前沿]--031-Transformers的抽取式问答的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：如若内容造成侵权/违法违规/事实不符，请点击违法举报进行投诉反馈，一经查实，立即删除！

分享到：

领支付宝红包赞助服务器费用

复试专业前沿问题问答合集8-3——RNN、Hadoop、GPT大语言模型

深度学习中的的RNN、Hadoop、GPT大语言模型的原理关系问答： GPT（Generative Pre-trained Transformer）和RNN（Recurrent Neural Network）是两种在自然语言处理（NLP）领域广泛使用的深度学习模型。它们在处理序列数据，尤其是在语言建模和文本生成任务中，发挥着重要作用。而Hadoop是一个

2024年04月11日
浏览(31)
手把手教学构建农业知识图谱：农业领域的信息检索+智能问答，命名实体识别，关系抽取，实体关系查询

项目设计集合（人工智能方向）：助力新人快速实战掌握技能、自主完成项目设计升级，提升自身的硬实力（不仅限NLP、知识图谱、计算机视觉等领域）：汇总有意义的项目设计集合，助力新人快速实战掌握技能，助力用户更好利用 CSDN 平台，自主完成项目设计升级，提升自

2024年02月12日
浏览(49)
中文人物关系知识图谱（含码源）：中文人物关系图谱构建、数据回标、基于远程监督人物关系抽取、知识问答等应用.

项目设计集合（人工智能方向）：助力新人快速实战掌握技能、自主完成项目设计升级，提升自身的硬实力（不仅限NLP、知识图谱、计算机视觉等领域）：汇总有意义的项目设计集合，助力新人快速实战掌握技能，助力用户更好利用 CSDN 平台，自主完成项目设计升级，提升自

2024年02月15日
浏览(45)
[算法前沿]--022-Pytorch从0编写Transformer算法

2023年06月30日
浏览(35)
[算法前沿]--026-如何实现一个BERT

本文包含大量源码和讲解，通过段落和横线分割了各个模块，同时网站配备了侧边栏，帮助大家在各个小节中快速跳转，希望大家阅读完能对BERT有深刻的了解。同时建议通过pycharm、vscode等工具对bert源码进行单步调试，调试到对应的模块再对比看本章节的讲解。涉及到的ju

2024年02月12日
浏览(38)
[算法前沿]--027-如何应用一个BERT?

接着上一小节，我们对Huggingface开源代码库中的Bert模型进行了深入学习，这一节我们对如何应用BERT进行详细的讲解。涉及到的jupyter可以在代码库：篇章3-编写一个Transformer模型：BERT，下载本文基于 Transformers 版本 4.4.2（2021 年 3 月 19 日发布）项目中，pytorch 版的 BERT 相关代码

2024年02月11日
浏览(53)
[算法前沿]--024-图解BERT以及原理介绍

2023年06月27日
浏览(60)
DES算法揭秘：数据加密的前沿技术

DES（Data Encryption Standard）算法是一种对称密钥加密算法，由IBM的Horst Feistel设计，于1977年被美国国家标准局（NBS）确定为数据加密标准。DES算法基于分组密码，采用置换、替换和迭代运算，用于保护数据的机密性。 DES加密解密 | 一个覆盖广泛主题工具的高效在线平台(amd794.c

2024年03月17日
浏览(42)
[算法前沿]--022-使用 StarCoder 创建一个编程助手

BigCode 开发的 StarCoder，这是一个在一万亿的 token、80 多种编程语言上训练过的 16B 参数量的模型。训练数据多来自 GitHub 上的 issues、使用 Git 提交的代码、Jupyter Notebook 等等。得益于对企业友好的许可证、长度为 8192 的 token、借助 multi-query attention 的快速大批量推理，StarCoder

2024年04月16日
浏览(26)
[算法前沿]--019-医学AIGC大模型的构建

基于主动健康的主动性、预防性、精确性、个性化、共建共享、自律性六大特征[1]，华南理工大学未来技术学院-广东省数字孪生人重点实验室开源了中文领域生活空间主动健康大模型基座ProactiveHealthGPT，包括：(1) 经过千万规模中文健康对话数据指令微调的生活空间健康大模

2024年02月10日
浏览(39)