clickhouse实时同步MySQL数据-Toy模板网

这篇具有很好参考价值的文章主要介绍了clickhouse实时同步MySQL数据。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

两种方式

1、使用clickhouse表引擎，直接从MySQL中读取数据（针对表），如果业务需求不是很复杂，可以选择此方式，需要哪张表就配置哪张表，操作简单，数据实时同步；

2、使用clickhouse数据库引擎，同步MySQL数据库，配置稍微复杂一点，我是没有配置成功，这里就不介绍了。因为我使用的是mariadb（10.5.16），某些配置项不存在，网上也没找到，就没有研究了，有调通的小伙伴可以评论交流。

方式2已经有解决方案：

https://mp.csdn.net/mp_blog/creation/editor/131109231

一、配置MySQL

1、准备好数据库以及数据表

CREATE DATABASE db1;

                CREATE TABLE db1.table1 (
                        id INT,
                        column1 VARCHAR(255)
                );

2、随便插入点数据

                INSERT INTO db1.table1
                        (id, column1)
                VALUES
                        (1, 'abc'),
                        (2, 'def'),
                        (3, 'ghi');

3、创建数据库连接账号并赋予权限

供clickhouse通过表引擎连接MySQL使用

CREATE USER 'mysql_clickhouse'@'%' IDENTIFIED BY 'Password123!';

GRANT ALL PRIVILEGES ON *.* TO 'mysql_clickhouse'@'%';

二、配置clickhouse

1、创建表并使用表引擎连接MySQL数据库中的表

                CREATE TABLE mysql_table1 (
                        id UInt64,
                        column1 String
                )
                ENGINE = MySQL('127.0.0.1','db1','table1','mysql_clickhouse','Password123!')

参数	描述	例
host	主机名或 IP	127.0.0.1
database	MySQL 数据库名称	db1
table	MySQL 表名	table1
user	用于连接到 MySQL 的用户名	mysql_clickhouse
password	用于连接到 MySQL 的密码	Password123!

三、测试

1、在MySQL中插入数据：

                INSERT INTO db1.table1
                        (id, column1)
                VALUES
                        (4, 'jkl');

2、在clickhouse中查询

                SELECT
                        id,
                        column1
                FROM mysql_table1

你会发现刚刚在MySQL中插入的数据

Query id: 6d590083-841e-4e95-8715-ef37d3e95197

                ┌─id─┬─column1─┐
                │ 1 │ abc │
                │ 2 │ def │
                │ 3 │ ghi │
                │ 4 │ jkl │
                └────┴─────────┘

4 rows in set. Elapsed: 0.044 sec.

3、在clickhouse中插入数据

                INSERT INTO mysql_table1
                        (id, column1)
                VALUES
                        (5,'mno')

4、在MySQL中查询

mysql> select id,column1 from db1.table1;

你会发现在clickhouse中插入的数据

                +------+---------+
                | id | column1 |
                +------+---------+
                | 1 | abc |
                | 2 | def |
                | 3 | ghi |
                | 4 | jkl |
                | 5 | mno |
                +------+---------+
                5 rows in set (0.01 sec)

四、总结

通过表引擎连接MySQL，可以实现双向数据同步，简单快捷，需要哪张表就连接哪张表，当数据量不大时，没什么影响，我找到了一张mariadb中45个G的表，配置好表引擎连接之后，数据是加载不出来的，感觉clickhouse只是通过MySQL表引擎连接上了MySQL数据库，查询还是通过MySQL来查询的，45个G的数据量并不小，MySQL查询耗时较高，clickhouse加载超时时间为30s，加载不出来。

另外，可以通过在clickhouse创建只读权限的数据库连接账号，即可控制双向数据同步时读写权限的区分了，MySQL自身就可以配置主从，如果使用MySQL从库来和clickhouse进行连接的话，必须要控制好读写权限，MySQL从库一旦写入数据之后，等到下一次主库同步数据至从库时，必然会导致MySQL主从断开，一定注意！！！文章来源地址https://www.toymoban.com/news/detail-616679.html

到了这里，关于clickhouse实时同步MySQL数据的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！