ES数据迁移

这篇具有很好参考价值的文章主要介绍了ES数据迁移。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

ES数据迁移 (冷迁)

场景:单机迁移到集群

迁移步骤:

1、物理文件拷贝: 数据目录:到elasticsearch.yml中找到path.data的配置
2、替换调新集群中其中一台的数据文件目录,同时清空集群其余节点的数据目录文件
3、启动集群节点:

报错: java.io.IOException: failed to find metadata for existing index XXX
在节点启动的时候,有时会出现这类问题,导致节点重启失败。出现这种情况多是因为状态为Close的索引引起的
处理方法:
进入当前节点的data目录: /esdata/nodes/0/_state
将manifest开头的文件 删除或重命名
再启动该节点就可以了,启动成功后该 manifest文件会自动生成文章来源地址https://www.toymoban.com/news/detail-506061.html

4、添加ES集群账号密码
1)、编辑elasticsearch.yml文件(每个节点都要配置)
    开启x-pack功能,并指定证书位置
    添加内容如下:
    xpack.security.enabled: true
    xpack.security.transport.ssl.enabled: true
    xpack.security.transport.ssl.verification_mode: certificate
    xpack.security.transport.ssl.keystore.path: /data/slview/elasticsearch-7.2.1/config/elastic-certificates.p12
    xpack.security.transport.ssl.truststore.path: /data/slview/elasticsearch-7.2.1/config/elastic-certificates.p12

2)、生成 TLS 和身份验证 (把elastic-certificates.p12这个文件复制到其他节点)
    单独使用一个节点生成证书;
    证书会生成在config目录下,证书文件名为 elastic-certificates.p12;
    cd到elasticsearch目录下的bin目录执行
    ./elasticsearch-certutil cert -out config/elastic-certificates.p12 -pass ""
3)、重启es集群
     全部节点都要重启一遍,因为elasticsearch.yml有了新的配置了;
     重启这里也不多介绍了;
4)、设置密码:(在其中一个节点设置密码即可,设置完之后,数据会自动同步到其他节点。)
     cd到elasticsearch目录下的bin目录执行
     ./elasticsearch-setup-passwords interactive
     测试密码访问:curl --user elastic:elastic http://localhost:7020
5、验证节点状态
查看节点
curl -u'elastic:Unitechs#S987!' 127.0.0.1:7020/_cat/nodes
查看索引:
curl -u'elastic:Unitechs#S987!' 127.0.0.1:7020/_cat/indices?v
批量打开索引:
curl -u'elastic:Unitechs#S987!' -XPOST 127.0.0.1:7020/pm_perf*/_open

到了这里,关于ES数据迁移的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • ES 数据迁移最佳实践

           数据迁移是 Elasticsearch 运维管理和业务需求中常见的操作之一。以下是不同数据迁移方法的最佳实践和讲解: 方案 优点 缺点(限制) 适用场景 是否有版本要求 开发程序 灵活,方便,可以定制。例如es的搜索快照是一个付费API,可以用程序实现同样的功能,把不

    2024年02月04日
    浏览(42)
  • ES数据迁移

    场景:单机迁移到集群 1、物理文件拷贝: 数据目录:到elasticsearch.yml中找到path.data的配置 2、替换调新集群中其中一台的数据文件目录,同时清空集群其余节点的数据目录文件 3、启动集群节点: 报错: java.io.IOException: failed to find metadata for existing index XXX 在节点启动的时候,

    2024年02月11日
    浏览(33)
  • ES 7.7.0 数据迁移

    本文使用 elasticdump 做数据迁移,支持在线和离线俩种方式,适用于数据量比较小的情况。 由于elasticdump 依赖于 node,首先需要安装下node。 选择对应的windows版本一路下一步即可,以下是64位的安装包标注: linux和windows基本相同,建议全局安装下: ES索引的迁移需要一个个的迁

    2024年02月02日
    浏览(53)
  • elasticdump迁移ES数据详解

    👏作者简介:大家好,我是Rockey,不知名企业的不知名Java开发工程师 🔥如果感觉博主的文章还不错的话,请👍三连支持👍一下博主哦 📝联系方式:he18339193956,加我进群,大家一起学习,一起读书,一起对抗互联网寒冬👀 elasticdump是一个能够将es的数据快速导入、导出、

    2023年04月16日
    浏览(38)
  • elasticsearch es数据迁移es-dump

    由于现在接管了同事的代码,同事的代码操作es时,导致了线上问题,我又对es不熟悉,怕操作影响了其他线上业务,于是现在将es数据复制一版到本地来。 远程es服务elasticsearch.tencent.xxx.com:80 本地es服务192.168.9.102:9200 现在将远程转换为本地,我们采用【elasticdump工具】来进行

    2024年02月11日
    浏览(39)
  • ES索引数据迁移 _reindex

    集群内部索引迁移,从一个索引迁移数据到另一个索引里 新索引与就索引结构保持一致 通过就索引_mapping _setting 获取配置和结构信息 然后创建新索引 需要注意 添加如下配置 设置number_of_replicas为0防止我们迁移文档的同时又发送到副本节点,影响性能 设置refresh_interval为-1是

    2024年02月12日
    浏览(47)
  • HDFS中数据迁移的使用场景和考量因素

    冷热集群数据同步、分类存储 集群数据整体搬迁 当公司业务迅速的发展,导致的当前的服务器数量资源出现临时紧张的时候,为了更高效的利用资源,会将A机房数据整体迁移到B机房的,原因可能是B机房机器多,而且B机房本身开销较A机房低些等 数据的准实时同步 数据准实

    2024年02月11日
    浏览(73)
  • AWS-数据库迁移工具DMS-场景:单账号跨区域迁移RDS for Mysql

    参考文档: 分为几个环节: 要使用 AWS DMS 迁移至 Amazon RDS 数据库实例: 1.创建复制实例 有坑内存必须8g或者以上,我测试空库 都提示内存不足 2.创建目标和源终端节点 目标空库也得自己创建哈 3.刷新源终端节点架构 4.创建迁移任务 需要手动启动任务,点击重启/恢复 5.监控

    2024年02月10日
    浏览(51)
  • 【Elasticsearch】小白实战!ES使用Reindex迁移数据

    文章有点长,如果你想认真阅读,建议到我语雀文档上观看,格式友好 - ES 迁移工作 最近有一个需求是需要我负责将服务器A里的 ES 数据迁移到服务器B上,但是由于环境不通,所以就先在公司的测试环境和我本地上进行测试,因为之前没有接触过 ES 数据的迁移,所以上手时

    2024年02月05日
    浏览(39)
  • ES数据迁移_snapshot(不需要安装其他软件)

    参考文章: 三种常用的 Elasticsearch 数据迁移方案 ES基于Snapshot(快照)的数据备份和还原 CDH修改ElasticSearch配置文件不生效问题 添加 path.repo: [\\\"backup\\\"] 即可,截图如下: 请求方式: 请求链接: 请求头: 请求体: 整体效果如下图: 请求方式: 请求链接: 请求头: 请求参数

    2024年01月16日
    浏览(50)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包