点击查看 Huggingface详细入门介绍之dataset库文章来源:https://www.toymoban.com/news/detail-506364.html
loadset 导入本地文件
import os
from datasets import load_dataset
data_home = r"D:\数据集路径"
#
data_dict = {
"train": os.path.join(data_home, "train.json"),
"test": os.path.join(data_home, "test.json"),
}
datasets = load_dataset("json", data_files=data_dict)
print(datasets)
print(datasets["train"][0])
load_dataset("json", data_files=data_dict)
json
: 表示导入的本地文件是 json文件文章来源地址https://www.toymoban.com/news/detail-506364.html
到了这里,关于huggingface transformers loadset 导入本地文件的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!