如何把Elasticsearch中的数据导出为CSV格式的文件

这篇具有很好参考价值的文章主要介绍了如何把Elasticsearch中的数据导出为CSV格式的文件。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

前言|

本文结合用户实际需求用按照数据量从小到大的提供三种方式从ES中将数据导出成CSV形式。本文将重点介Kibana/Elasticsearch高效导出的插件、工具集,通过本文你可以了解如下信息:

1,从kibana导出数据到csv文件

2,logstash导出数据到csv文件

3,es2csv导出数据到csv文件

一、Kibana导出工具

步骤1:点击Kibana;

步骤2:左侧选择数据,筛选字段;点击save,保存并命名

kibana导出es数据,elasticsearch,大数据

保存字段数据

kibana导出es数据,elasticsearch,大数据

命名

步骤3:右侧点击:share->csv reports。 一般根据数据文件大小,会花费不同的时间

kibana导出es数据,elasticsearch,大数据

生成CSV文件

步骤4:菜单栏:选择Management->Reporting->下载

kibana导出es数据,elasticsearch,大数据

下载并打开已存的文件

注意:当然使用Kibana导出会出现如下几个问题:比如要下载的文件太大,在保存对象生成CSV文件的过程中会出现如下信息:

kibana导出es数据,elasticsearch,大数据

下载的数据文件太大

如果在下载的时候出现这个问题,需要改一下Kibana配置文件,这个时候需要联系腾讯云售后给与支持。

kibana导出es数据,elasticsearch,大数据

修改kibana配置文件

当然,我们也可以使用kibana将一些其它保存在导航图的的对象下载下来,在Dashboard的右上角点击Inspect,再点击就可以导出对应可视化报表对应的数据。如下

kibana导出es数据,elasticsearch,大数据

导出可视化报表对应的数据

总结:kibana导出数据到CSV文件图形化操作方便快捷,但是操作数据不能太大,适合操作一些小型数据的导出。

二、使用logstash导出ES数据成CSV文件

步骤一:安装与ES对应版本的logstash,一般安装完后,默认就集成了logstash-output-csv插件

kibana导出es数据,elasticsearch,大数据

查看此插件

显然logstash-ouput-csv是在列表中。也就是说我们logstash支持csv格式的输出。我们建立如下的Logstash的配置文件:

kibana导出es数据,elasticsearch,大数据

定义Logstash事件配置文件

请注意上面的path需要自己去定义时候自己环境的路径。这里我们在fields里定义了我们想要的字段。通过如下命令启动logstash服务 ../bin/logstash -f ../path/convert_csv.conf

结论:Logstash不只光可以把数据传上Elasticsearch,同时它还可以把数据从Elasticsearch中导出。适合大量数据的导出。但是导出时间也会根据数据的大小而长短不一。

三、使用es2csv导出ES数据成CSV文件

可以去官网了解一下这个工具,https://pypi.org/project/es2csv/

用python编写的命令行数据导出程序,适合大量数据的同步导出,速度和效率都比较快。

安装这个过程参考上面的官方链接,如果出现无法安装pip命令,可以参考此链接:

https://www.cnblogs.com/wujf-myblog/p/9644278.html

具体的参数详解可以参考此链接:https://www.kutu66.com/GitHub/article_133864

常用参数如下:

-i 索引名

-q query dsl

-a 认证信息 格式:user: password

-u esurl 格式: http://ip:9200

-o 命名

-r qurey formated

具体执行一个命令操作一下:如下:

kibana导出es数据,elasticsearch,大数据

es2csv文件格式

因此,执行成功后,就回出现进度条的显示信息。如上图所示。

四、总结

以上3种方法是常见的ES导出到CSV文件的方法,实际工作中使用也比较广泛。大家可以多尝试。当然。elasticsearch-dump也能导,但是比较小众,相当于Mysqldump指令。如果要将ES导出到json格式可以使用它来进行操作,这里就不多说。文章来源地址https://www.toymoban.com/news/detail-754070.html

到了这里,关于如何把Elasticsearch中的数据导出为CSV格式的文件的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • ROS系列——提取bag文件中的数据并保存为csv、txt格式

    实际应用中经常会用到将bag包中的topic数据,保存到csv文件或者txt文件下,然后在对数据进行分析。 其中:为bag文件名,为ros中的Topic名称,为要保存的csv文件名 举例: 其实与csv格式基本一样,只需要修改后缀即可 举例: 注:感谢吕博士提供的支持

    2024年02月14日
    浏览(58)
  • 如何使用pandas读取csv文件中的某一列数据

    使用pandas读取csv文件中的某一列数据,可以这样做: 先导入pandas模块: import pandas as pd 使用 pd.read_csv 函数读取csv文件: df = pd.read_csv(\\\"文件名.csv\\\") 使用 df[\\\"列名\\\"] 读取某一列数据: column = df[\\\"列名\\\"] 例如,如果你有一个csv文件叫做 example.csv ,并且有一列叫做 age ,你可以这样

    2024年02月13日
    浏览(48)
  • 一个实用的开源项目,可以快速将 Elasticsearch 数据导出到 csv

    -e, --meta-fields Add meta-fields in output. –verify-certs Verify SSL certificates. Default is False. –ca-certs CA_CERTS Location of CA bundle. –client-cert CLIENT_CERT Location of Client Auth cert. –client-key CLIENT_KEY Location of Client Cert Key. -v, --version Show version and exit. –debug Debug mode on. -h, --help show this help message and ex

    2024年04月11日
    浏览(40)
  • 如何使用R语言将表格导出为CSV文件

    如何使用R语言将表格导出为CSV文件 在R语言中,我们可以使用一些简单的代码将表格数据导出为CSV(逗号分隔值)文件。CSV文件是一种常见的文本文件格式,用于存储和交换表格数据。下面是一个示例代码,展示了如何在R中完成这个任务。 首先,我们需要准备一个包含数据

    2024年02月07日
    浏览(49)
  • Java快速导出数据(List)到CSV文件

    👏作者简介:大家好,我是Rockey,不知名企业的不知名Java开发工程师 🔥如果感觉博主的文章还不错的话,请👍三连支持👍一下博主哦 📝联系方式:he18339193956,加我进群,大家一起学习,一起读书,一起对抗互联网寒冬👀 Java快速导出数据(List)到CSV文件,实际上是使用

    2024年02月14日
    浏览(44)
  • C#使用MiniExcel导入导出数据到Excel/CSV文件

    MiniExcel简介 简单、高效避免OOM的.NET处理Excel查、写、填充数据工具。 目前主流框架大多需要将数据全载入到内存方便操作,但这会导致内存消耗问题,MiniExcel 尝试以 Stream 角度写底层算法逻辑,能让原本1000多MB占用降低到几MB,避免内存不够情况。 特点: 低内存耗用,避免

    2024年02月19日
    浏览(57)
  • python-数据可视化-下载数据-CSV文件格式

    数据以两种常见格式存储: CSV 和 JSON comma-separated values 0 USW00025333 1 SITKA AIRPORT, AK US 2 2018-01-01 3 0.45 4 5 48 6 38 csv.reader() :将前面存储的文件对象作为实参传递给它,创建一个与该文件相关联的阅读器对象 next() 返回文件中的下一行 第一次调用该函数,返回第一行,依次增加

    2024年02月10日
    浏览(38)
  • Hive数据导出为csv、tsv文件的几种方法

    Hive数据导出csv,tsv 第一种(推荐) PS: ‘|tr “t” “,”’ 将数据分隔符 制表符 替换为 “,”. hive在hdfs中存储可能是\\001分割,替换t即可. 数据中包含\\\",\\\"会导致.csv文件不能正确解析.这时建议改为.tsv文件(制表符分割). hdfs中== 空值 采用 N 存储,可以使用 |tr -d “\\\\N” 变为正

    2024年02月15日
    浏览(42)
  • CSV导出(通过读取数据字节流直接上传文件到服务器)

    文件之前读取大多数都是用前端点击相应传入后端,通过HttpServletResponse response得输入输出流进行导入导入导出数据。 近期碰到得需求是定时查询数据库数据并通过csv文件上传至系统。所以不能使用HttpServletResponse,因为对应文件流比较熟悉所以最开始使用文件流进行读写数据

    2024年02月12日
    浏览(58)
  • ES(elasticsearch) - kibana导出csv

    Elasticsearch第一篇:基本介绍 Elasticsearch第二篇:es版本比较 Elasticsearch第三篇:es的三种分页方式与优劣势比较 Elasticsearch第四篇:java实现Scroll分页,内含代码复制即用 Elasticsearch第五篇:kibana导出csv 主要记录使用Kibana导出查询结果的csv文件,以及相关的导出配置 Discover - 选择

    2024年02月07日
    浏览(44)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包