dataset 如何自己构建一个batch供DataCollator测试

9月前作者：jieshenai 分类：Toy博客阅读(34) 违法举报

这篇具有很好参考价值的文章主要介绍了dataset 如何自己构建一个batch供DataCollator测试。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

Q：如何简单的构建一个batch？
有一些代码喜欢把数据的预处理放在 data_collator 函数内，有时候我们希望自己构建一个batch简单的测试一下。

如果是普通的数据集可以使用：
data_collator(eval_dataset[:3])

但如果是 transformer encode的数据集，使用切片会失效，可以使用列表推导式文章来源地址https://www.toymoban.com/news/detail-589227.html

batch = [eval_dataset[i] for i in range(3)]
data = data_collator(batch)
print(data)

到了这里，关于dataset 如何自己构建一个batch供DataCollator测试的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：如若内容造成侵权/违法违规/事实不符，请点击违法举报进行投诉反馈，一经查实，立即删除！

分享到：

领支付宝红包赞助服务器费用

云原生时代，如何构建自己的开源组件安全治理体系？

「云原生安全既是一种全新安全理念，也是实现云战略的前提。基于蚂蚁集团内部多年实践，云原生PaaS平台SOFAStack发布完整的软件供应链安全产品及解决方案，包括静态代码扫描Pinpoint，软件成分分析SCA，交互式安全测试IAST，运行时防护RASP，安全洞察Appinsight等，帮助企业客

2024年02月02日
浏览(54)
AI开发之——Leonardo—Training&Datasets自己训练模型(6)

准备条件模型训练过程使用训练模型至少5张训练模型图像，最高不超过30张 3.1 切换到 TrainingDatasets 的 Your Datasets 下 3.2 点击 Create New Dataset 按钮后弹出如下界面，填写Name和Description内容 3.3 点击 Create Dataset 按钮后，切换到 Edit Dataset 选项卡 3.4 点击底部的 Upload Images ，将图片

2024年02月13日
浏览(39)
论文（3）——使用ChatGPT快速提高科研能力！！如何快速构建代码？怎么提高自己的科研能力？如何提高自己的生产力？

引言 chatGPT大模型用于问问题和debug，NewBing用于搜索论文，cpolit用于写代码…各种各样的工具层出不穷，之前因为课程和各种琐事，也就胡乱接触了一下，并没有进行系统性的总结。这不，暑假要做系统性的科研了，也要好好写代码了（之前也在好好写代码），就需要好好总

2024年02月16日
浏览(50)
如何自己制作一个属于自己的小程序？

在这个数字化时代，小程序已经成为了我们生活中不可或缺的一部分。它们方便快捷，无需下载安装，扫一扫就能使用。如果你想拥有一个属于自己的小程序，不论是为了个人兴趣，还是商业用途，都可以通过编程或者使用免代码工具来实现。下面，我们就来探讨一下如何自

2024年01月24日
浏览(54)
AIGC: 4 IT从业者如何构建自己的AI知识体系

图片是我使用dall.e模型生成的图片，提示词：程序员系统学习OpenAI开发者平台系统学习。我按照SCQA模型，来开始今天的内容。今天是2024年3月23日，我在深圳，从事IT行业，每个人从事的行业各不相同，但是都在被AI冲击，或多或少的改变工作方式。很多IT从业人员，一定

2024年04月13日
浏览(51)
如何使用OpenAI API和Python SDK构建自己的聊天机器人

近日，OpenAI公司的ChatGPT模型走红网络。同时，OpenAI也推出了Chat API和gpt-3.5-turbo模型，让开发者能够更轻松地使用与ChatGPT类似的自然语言处理模型。通过OpenAI API，我们可以使用gpt-3.5-turbo模型，实现多种任务，包括：撰写电子邮件或其他文本内容，编写Python代码，创建对话代

2024年02月01日
浏览(46)
实战教程：如何自己搭建一个小程序商城？

如今，随着移动互联网的发展，电子商务已经成为人们购物的主要方式之一。而商城小程序的出现，更是方便了商家进行线上销售和推广。本文将为大家详细介绍如何搭建一个商城小程序，让你从小白变为专家。首先，我们需要登录乔拓云平台进入商城后台管理页面。乔拓云

2024年02月11日
浏览(52)
自己是如何使用单元测试

自己是如何使用单元测试进行单元测试能够让我们在编写方法的具体实现代码后，能清晰地看到其是否能实现预期的功能，有助于我们及时修正自己方法中存在的bug，以免在后续使用到某方法时出现意想不到的错误。代码如下（示例）：代码如下（示例）：用JUnit编写测试

2024年01月20日
浏览(62)
如何自己实现一个Spring Boot Starter

现在很多开源的组件都会提供对应的 springboot-starter 包给我们去用，要做一个 starter 包并不难。参照Spring内置的实现就好了： 1、在工程里引入 starter 打包相关的依赖。 2、在我们工程内建 spring.factories 文件，编写我们配置类的全限类名。使用AOP实现拦截方法执行和打印日志的

2024年01月22日
浏览(48)
如何搭建一个属于自己的网站(使用宝塔面板)

1.域名简单的解释一下,我们购买的域名会给我们一个公网ip,通常这个公网ip是很难记.所以我们可以将域名与ip进行\\\"绑定\\\". 域名的话建议购买一个有意义,不要太贵的.注意次年续费的价格!! 阿里云或者腾讯云下面这个是我的域名(和我名字差不多的意思) 2.服务器服务器的话

2024年02月05日
浏览(53)