sift-1M数据集的读取及ES插入数据

9月前作者：小李飞刀李寻欢分类：Toy博客阅读(33) 违法举报

这篇具有很好参考价值的文章主要介绍了sift-1M数据集的读取及ES插入数据。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

sift是检查ann近邻召回率的标准数据集，ann可以选择faiss，milvus等库或者方法；sift数据分为query和base，以及label（groundtruth）数据。本文采用sift-1M进行解读，且看如下：

1、sift-1m数据集

官方链接地址：Evaluation of Approximate nearest neighbors: large datasets

sift-1M数据集的读取及ES插入数据,Notebook,python,ES,ANN,faiss,sift,requests

2、读取上图文件格式数据

2.1解压数据集

tar -zxvf sift.tar.gz 
x sift/
x sift/sift_base.fvecs
x sift/sift_groundtruth.ivecs
x sift/sift_learn.fvecs: truncated gzip input
tar: Error exit delayed from previous errors.

这是啥问题？我怀疑是下载失败，删除重新下载。再下载时发现已经解压了，这是啥error，，误人子弟啊。文章来源地址https://www.toymoban.com/news/detail-649392.html

到了这里，关于sift-1M数据集的读取及ES插入数据的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：如若内容造成侵权/违法违规/事实不符，请点击违法举报进行投诉反馈，一经查实，立即删除！

分享到：

领支付宝红包赞助服务器费用

Pytorch使用torchvision.datasets.ImageFolder读取数据集,数据集的内容排列状况

当使用torchvision.datasets.ImageFolder读取猫狗数据集时,dataset中存的图片是 \\\'猫狗猫狗猫狗猫狗\\\' 还是 \\\'猫猫猫猫狗狗狗狗\\\' 呢? 数据集文件的存放路径如下图测试代码如下输出结果如下可以得知,是 \\\'猫猫猫猫狗狗狗狗\\\'

2024年02月08日
浏览(45)
ES 数据插入异常原因分析

24-01-23.15:50:18.635 [I/O dispatcher 1] WARN org.elasticsearch.client.RestClient - request [HEAD http://localhost:9200/alarm_msg?ignore_throttled=falseinclude_type_name=trueignore_unavailable=falseexpand_wildcards=openallow_no_indices=true] returned 1 warnings: [299 Elasticsearch-7.17.13-2b211dbb8bfdecaf7f5b44d356bdfe54b1050c13 \\\"[ignore_throttled] param

2024年01月24日
浏览(74)
【Elasticsearch】使用Python完成对ES的插入操作

1.Python搭建Flask服务，编写ES脚本。 2.通过Java调用Python接口，完成对ES的插入操作。 Elasticsearch 7.16.0 ESObject是一个模板，其中有很多其他的函数。通过Java调用，还可以实现很多操作，如删除、查询等。

2024年02月15日
浏览(43)
Python综合案例-小费数据集的数据分析(详细思路+源码解析)

目录 1. 请导入相应模块并获取数据。导入待处理数据tips.xls，并显示前5行。 2、分析数据 3.增加一列“人均消费” 4查询抽烟男性中人均消费大于5的数据 5.分析小费金额和消费总额的关系，小费金额与消费总额是否存在正相关关系。画图观察。 6分析男女顾客哪个更慷慨，

2024年02月02日
浏览(43)
Java操作es插入数据后，立即查询没结果解决办法

原因：ES默认不执行刷新操作，需要手动设置参数才能在更新文档后立即刷新。从以下源码中可以看出刷新策略有三种： NONE(“false”)、IMMEDIATE(“true”)、WAIT_UNTIL(“wait_for”) 添加位置如下：官网地址：es批量操作官方文档注：默认是不进行刷新的，因此需要手动添加进行刷

2024年02月12日
浏览(45)
用 Python 实现数据集的分割，将数据集分为训练集和测试集

用 Python 实现数据集的分割，将数据集分为训练集和测试集在机器学习中，数据集的分割是非常重要的，常见的方法是将数据集分为训练集和测试集。本文将介绍如何使用 Python 中的 Sklearn 实现数据集分割。首先，我们需要导入 Sklearn 库，并加载数据集，这里我们以鸢尾花数

2024年02月07日
浏览(40)
如何在jupyter notebook中插入本地图片(一针见血，无代码！)

问题描述：想在cell中插入图片，网上找了很多代码方法，但在读取本地图片时候无一例外都是显示失败，网上清一色全是一模一样的水文解决不了问题，本文直接一针见血。 1、找到Edit -最后一行insertimage（这时候因为单元格是代码型不能点击这个insertimage要把cell变为markdow

2024年02月12日
浏览(40)
Es批量插入数据报异常Unable to parse response body

Unable to parse response body org.elasticsearch.client.ResponseException: method [POST], host [http://xx.xxx.xxx.xx:9201], URI [/_bulk?timeout=1m], status line [HTTP/1.1 413 Request Entity Too Large] 因为批量提交提交内容请求实体太大超过了es中设置的最大值，Bulk 默认设置批量提交的数据量不能超过 100M 官网说明：

2024年02月12日
浏览(48)
Rational Architect 安装提示：插入标注为IBM的磁盘集的第n张磁盘未能验证位置的介质

这个问题在网上没有搜到插入标注为IBm的磁盘集的第n张磁盘，选择目录，应该选择RSP解压以后对应的 disk1文件夹就可以正常安装，如果选择其他路径会自动卸载相当于白安

2024年01月21日
浏览(54)
Java向ES库中插入数据报错：I/O reactor status: STOPPED

在使用Java向ES库中插入数据时，第一次成功插入，第二次出现以下错误： java.lang.IllegalStateException: Request cannot be executed; I/O reactor status: STOPPED at 这里显示是连接中断，第一次遇到这个问题，比较疑惑为什么es的客户端会中断，理论上es client 是长连接，不停的有数据写入，连接

2024年03月26日
浏览(46)