Elasticsearch数据迁移(使用快照)

这篇具有很好参考价值的文章主要介绍了Elasticsearch数据迁移(使用快照)。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

前言:由于做项目的时候没有进行长期考虑,把es,mysql,api等都部署在同一台服务器上,随着业务的增加,需要将部分服务和存储迁移到其他服务器。es上目前已有100万以上的数据,上网查资料,snapshot适合数据量大的迁移,所以没来得及考虑就果断选择尝试一下。

一.生成快照

1.修改配置文件

找到es配置文件elasticsearch.yml ,在配置文件中添加 path.repo注册位置,由于es都是使用的非root用户启动,当前用户需要有权限能读写,所以建议目录设置为用户/home/{user}/backup,比如我自己的es的用户是elk,但由于公司配的服务器磁盘挂在在根目录下,home目录只有2G的内存,所以我自己的配置是将快照配置在根目录下一个文件夹,并设置为elk用户的管理权限,我设置的配置信息如下:

创建过程:

cd /data/ #进入data目录

mkdir elk #创建文件夹

chown -R elk:elk /data/elk #赋予elk用户和用户组

chmod 777 /data/elk #赋予该用户可读写执行的权限

path.repo: [“/data/elk/backup”]

配置截图如下:

Elasticsearch数据迁移(使用快照),程序员,elasticsearch,jenkins,大数据

2.重启Elasticsearch,然后执行http 注册存储库

重启:先使用:ps aux | grep elastic命令找到es的进程号,然后kill -9 进程号杀掉,再启动es

执行http 注册存储库:

curl -H “Content-Type: application/json” -XPUT ‘http://localhost:9200/_snapshot/backup’ -d '{

“type”: “fs”,

“settings”: {

“location”: “/data/elk/backup”,

“compress”: true

}

}’

参数说明:backup是共享文件系统仓库,生成的快照将会存储在 /data/elk/backup 这个目录。

执行截图:

Elasticsearch数据迁移(使用快照),程序员,elasticsearch,jenkins,大数据

查看执行结果:?pretty是美化返回结果,使返回结果换行美观,可以清楚的看见json结构。

curl http://localhost:9200/_snapshot?pretty

结果截图:

Elasticsearch数据迁移(使用快照),程序员,elasticsearch,jenkins,大数据

以上结果代表注册成功。

3.执行快照请求

curl -H “Content-Type: application/json” -XPUT http://localhost:9200/_snapshot/backup/snapshot_20200319?pretty

snapshot_20200319为快照名称,执行成功如下图:

Elasticsearch数据迁移(使用快照),程序员,elasticsearch,jenkins,大数据 查看快照执行结果:

curl -H “Content-Type: application/json” -XGET http://localhost:9200/_snapshot/backup/snapshot_20200319?pretty

运行截图:

Elasticsearch数据迁移(使用快照),程序员,elasticsearch,jenkins,大数据

等待快照注册成功,等待"state": "SUCCESS"的标识就行快照完全生成成功。如果希望在脚本中一直等待到完成,可通过添加 wait_for_completion=true 标记实现,但如果数据特别多的话等待时间会很长。可写成:

curl -H “Content-Type: application/json” -XPUT http://localhost:9200/_snapshot/backup/snapshot_20200319?wait_for_completion=true
自我介绍一下,小编13年上海交大毕业,曾经在小公司待过,也去过华为、OPPO等大厂,18年进入阿里一直到现在。

深知大多数前端工程师,想要提升技能,往往是自己摸索成长或者是报班学习,但对于培训机构动则几千的学费,着实压力不小。自己不成体系的自学效果低效又漫长,而且极易碰到天花板技术停滞不前!

因此收集整理了一份《2024年Web前端开发全套学习资料》,初衷也很简单,就是希望能够帮助到想自学提升又不知道该从何学起的朋友,同时减轻大家的负担。

Elasticsearch数据迁移(使用快照),程序员,elasticsearch,jenkins,大数据

Elasticsearch数据迁移(使用快照),程序员,elasticsearch,jenkins,大数据

既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,基本涵盖了95%以上前端开发知识点,真正体系化!

Elasticsearch数据迁移(使用快照),程序员,elasticsearch,jenkins,大数据

由于文件比较大,这里只是将部分目录截图出来,每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频,并且会持续更新!

如果你觉得这些内容对你有帮助,可以扫码获取!!(资料价值较高,非无偿)

Elasticsearch数据迁移(使用快照),程序员,elasticsearch,jenkins,大数据

最后

文章到这里就结束了,如果觉得对你有帮助可以点个赞哦,如果有需要前端校招面试题PDF完整版的朋友可以点击这里即可获取,包括答案解析。

Elasticsearch数据迁移(使用快照),程序员,elasticsearch,jenkins,大数据

CoPEF.jpg" />

最后

文章到这里就结束了,如果觉得对你有帮助可以点个赞哦,如果有需要前端校招面试题PDF完整版的朋友可以点击这里即可获取,包括答案解析。

[外链图片转存中…(img-lxgQrd96-1711659866797)]文章来源地址https://www.toymoban.com/news/detail-846633.html

到了这里,关于Elasticsearch数据迁移(使用快照)的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 10、全文检索 -- Elasticsearch -- 介绍、下载,42岁程序员面试

    目录 全文检索 – Elasticsearch – 介绍、下载、安装、配置、开启安全机制、设置用户密码、为 Elasticsearch 启用 SSL 和 HTTPS 支持 Elasticsearch 介绍 官网下载 Elasticsearch 安装 Elasticsearch 1、bin 目录介绍 2、配置环境变量 3、修改配置文件 4、启动 Elasticsearch 5、查看 Elasticsearch 启动结果

    2024年04月26日
    浏览(48)
  • GPT引领学习之旅:弥补信息差,助力程序员高效掌握Elasticsearch

    Elasticsearch作为一款流行的开源搜索和分析引擎,持续迅速发展,随着版本的更新,功能和特性也在不断变化。GPT虽然具备大量的计算机科学、编程语言和工具相关的知识,但其知识截止于2021年。为了弥补GPT与实际情况之间的信息差,我们可以采取以下策略,将GPT与实际情况

    2024年02月02日
    浏览(112)
  • GPT引领学习之旅:适应不同级别程序员的Elasticsearch学习案例

    在本文中,我们将为初级、中级和高级程序员分别提供一个Elasticsearch学习案例,展示如何利用GPT进行针对性学习。 假设您是一名初级程序员,想要在自己的个人博客中集成Elasticsearch搜索引擎,以下是学习和实践的过程: 学习目标:了解Elasticsearch基本概念、安装配置、数据

    2023年04月24日
    浏览(53)
  • GPT引领学习之旅:一篇让程序员轻松掌握Elasticsearch的攻略

    随着大数据技术的飞速发展,程序员们面临着越来越多的挑战。Elasticsearch作为一款流行的开源搜索和分析引擎,已成为许多项目的重要组成部分。那么如何高效地学习并掌握Elasticsearch呢?在这篇文章中,我们将探讨如何运用GPT(Generative Pre-trained Transformer)技术,帮助程序员

    2024年02月02日
    浏览(58)
  • 算法+数据结构=程序,程序员怎样才能学好算法?

    🌹欢迎来到 爱书不爱输的程序猿 的博客, 本博客致力于知识分享,与更多的人进行学习交流 🚩🚩🚩 点击直达福利 数据结构和算法是计算机科学的基石,是计算机的灵魂,要想成为计算机专业人员,学习和掌握算法是十分必要的。 计算机科学家尼古拉斯·沃斯在计算机领

    2024年02月04日
    浏览(51)
  • 程序员都喜欢怎么使用爬虫?

    作为计算机行业的从业人员,程序员常常需要使用各种工具来辅助其工作。其中,爬虫广泛应用于数据收集和采集任务,因此程序员通常喜欢使用爬虫作为快速数据获取工具。本文将讨论程序员为何喜欢使用爬虫、在哪些情况下使用爬虫以及如何使用爬虫进行数据采集。 为什

    2024年02月05日
    浏览(44)
  • OpenAI ChatGPT 使用示例(程序员)

    作为一个程序员,当知道ChatGPT出来之后或者GPT3出来的时候,我是有喜有忧,喜的是它可以帮我写代码,重构代码,写注释,写测试,,。哇,听起来好刺激,我可以从此以后不用绞尽脑汁写测试类了,不用每天为追逐80%的测试覆盖率而烦恼了,不用为写一些POC代码疯狂的谷

    2024年02月09日
    浏览(44)
  • 《黑马程序员2023新版黑马程序员大数据入门到实战教程,大数据开发必会的Hadoop、Hive,云平台实战项目》学习笔记总目录

    本文是对《黑马程序员新版大数据入门到实战教程》所有知识点的笔记进行总结分类。 学习视频:黑马程序员新版大数据 学习时总结的学习笔记以及思维导图会在后续更新,请敬请期待。 前言:配置三台虚拟机,为集群做准备(该篇章请到原视频进行观看,不在文章内详细

    2024年02月03日
    浏览(63)
  • 【2023程序员必看】大数据行业分析

    1、政策重点扶持,市场前景广阔 2014年,大数据首次写入政府工作报告,大数据逐渐成为各级政府关注的热点。 2015年9月,国务院发布《促进大数据发展的行动纲要》,大数据正式上升至国家战略层面,十九大报告提出要推动大数据与实体经济的深度融合。 在2021年发布的“

    2024年02月08日
    浏览(58)
  • 程序员如何使用chatgpt提高工作效率

    公众号对话chatgpt 网页在线对话 ● 拥有一个 OpenAI 账号(需要梯子)。 ● 账号申请访问地址:https://platform.openai.com/。 ● ChatGPT 对话地址:https://chat.openai.com/chat。 API接入 ● 需要一个 API key(依赖于 OpenAI 账号)。 ● 普通的 HTTP 请求即可接入,参考文档:https://platform.opena

    2024年02月08日
    浏览(61)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包