MySQL同步ES的几种方案

9月前作者：北i 分类：Toy博客阅读(36) 违法举报

这篇具有很好参考价值的文章主要介绍了MySQL同步ES的几种方案。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

MySQL数据同步ES的几种方案

1. 同步双写

与业务耦合深，且业务响应时间长

2. 异步双写

这时可以使用类似MQ这样的中间件，业务主写时向MQ发送一条信息，再由一个聚合服务区消费，最终同步到ES

3. 定时任务

不好配置时间，频率高会出现明显的波峰，频率低实时性不够

4. 数据订阅

通过canal这种中间件去同步数据,0开发,无侵入,只需要配置好就可以

缺点：如果需要数据聚合，那么就需要自己实现，即异步双写

实践：

之前我们项目也提供一种系统--->系统的批量数据传输的方式：

接收方单独启一个TCP端口用来数据传输，根据接收方配置来决定发送方启动多少线程、批次传输量、最大传输时间

传输完毕以后回调接收方，告知本次传输状态、数据量、业务方配置等信息

如异常需重新传则继续上面的使用流程，暂不支持异常续传

结语：

同步到其他系统或服务大致实现思路也可参考上述方案文章来源地址https://www.toymoban.com/news/detail-807564.html

到了这里，关于MySQL同步ES的几种方案的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：如若内容造成侵权/违法违规/事实不符，请点击违法举报进行投诉反馈，一经查实，立即删除！

分享到：

领支付宝红包赞助服务器费用

MySQL 中常见的几种高可用架构部署方案

MySQL 中的集群部署方案前言 MySQL Replication InnoDB Cluster InnoDB ClusterSet InnoDB ReplicaSet MMM MHA Galera Cluster MySQL Cluster MySQL Fabric 参考这里来聊聊，MySQL 中常用的部署方案。 MySQL Replication 是官方提供的主从同步方案，用于将一个 MySQL 的实例同步到另一个实例中。Replication 为保证数据安

2023年04月20日
浏览(40)
MySQL同步ES方案

在项目开发中，我们经常将 MySQL 作为业务数据库，ES 作为查询数据库，用来实现读写分离，缓解 MySQL 数据库的查询压力，应对海量数据的复杂查询。这其中有一个很重要的问题，就是如何实现 MySQL 数据库和 ES 的数据同步，今天和大家聊聊 MySQL 和 ES 数据同步的各种方案。

2024年04月11日
浏览(41)
Mysql数据库--修改root密码的几种方法(忘记密码&知道密码)

🍁 通过 alter user root identified by \\\'新密码\\\'; 🍁 通过 set password for 用户名@\\\'用户地址\\\' = \\\'新密码\\\'; 2.1.1 🎈 停止mysql服务 2.1.2 🎈 创建mysql-init-file.txt文件 2.1.3 🎈 init-file的权限（最好赋权一下） 2.1.3 🎈 使用–init-file选项启动mysql服务 2.1.4 🎈 新密码连接测试（密码：Zyl@123321）

2024年02月08日
浏览(78)
Mysql和ES、Redis数据同步方案汇总_redis同步数据从mysql到es

文章目录前言一、数据同步方案 1.同步双写 [2.异步双写（MQ方式）](#2MQhttpssocsdnnetsosearchqMQspm1001210130017020_53) 3.基于Mysql表定时扫描同步 [4.基于Binlog实时同步](#4BinloghttpssocsdnnetsosearchqBinlogspm1001210130017020_119) [二、数据迁移同步工具选型](#httpssocsdnnetsosearchqspm1001210130017020_141) 总结

2024年04月23日
浏览(35)
4种 MySQL 同步 ES 方案

数据同步是一个很常见的业务场景。本文会讲述数据同步的 4 种方案，并给出常用数据迁移工具，干货满满！在实际项目开发中，我们经常将 MySQL 作为业务数据库，ES 作为查询数据库，用来实现读写分离，缓解 MySQL 数据库的查询压力，应对海量数据的复杂查询。这其中有一

2024年02月08日
浏览(35)
Mysql和ES数据同步方案汇总

在实际项目开发中，我们经常将Mysql作为业务数据库，ES作为查询数据库，用来实现读写分离，缓解Mysql数据库的查询压力，应对海量数据的复杂查询。这其中有一个很重要的问题，就是如何实现Mysql数据库和ES的数据同步，今天和大家聊聊Mysql和ES数据同步的各种方案。为什么

2024年01月20日
浏览(44)
DataX实现Mysql与ElasticSearch（ES）数据同步

jdk1.8及以上 python2 查看是否安装成功查看python版本号，判断是否安装成功在datax/job下，json格式，具体内容及主要配置含义如下 mysqlreader为读取mysql数据部分，配置mysql相关信息 username,password为数据库账号密码 querySql：需要查询数据的sql，也可通过colums指定需要查找的字段（

2024年02月05日
浏览(59)
MySQL数据库同步方案

MYSQL主从同步架构是目前使用最多的数据库架构之一，主从同步使得数据可以从一个数据库服务器复制到其他服务器上，在复制数据时，一个服务器充当主服务器(master)，其余的服务器充当从服务器(slave)。如上图所示，192.168.4.10(主机名为\\\"10.mysql\\\")作为MySQL主数据库，192.168.4.

2024年02月10日
浏览(41)
Mysql和ES、Redis数据同步方案汇总

前言我们一般会使用Mysql用来存储数据，用Es来做全文检索和特殊查询，用redis来做数据的缓存那么如何将数据优雅的从Mysql同步到Es以及redis呢？ 1.同步双写这是一种最为简单的方式，在将数据写到mysql时，同时将数据写到ES或者redis。这个方法的缺点是代码严重耦合，需要手

2024年02月03日
浏览(36)
【技术选型】Mysql和ES数据同步方案汇总

在实际项目开发中，我们经常将Mysql作为业务数据库，ES作为查询数据库，用来实现读写分离，缓解Mysql数据库的查询压力，应对海量数据的复杂查询。这其中有一个很重要的问题，就是如何实现Mysql数据库和ES的数据同步，今天和大家聊聊Mysql和ES数据同步的各种方案。 MySQL

2024年02月08日
浏览(37)