mysql数据利用pipe同步至redis

这篇具有很好参考价值的文章主要介绍了mysql数据利用pipe同步至redis。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

  1. 所有数据表,一条记录一个空间

    ps:*4 #表示有4个参数、$4 #表示“参数”有4个字节、

    //1.将“表名:主键”作为空间,字段名作为键,字段值作为value,查询出数据
    select 'HSET' AS redis_cmd , CONCAT('表名:',主键) AS redis_key,'字段名' AS hkey, 字段  AS hval from 表名 
    
    //2.将查询语句拼接成redis入库语句(每行默认以\n 结尾(windows是\n结尾,linux是 \r结尾)
    SELECT CONCAT("*4\n",'$', LENGTH(t.redis_cmd), '\n',t.redis_cmd, '\n','$', LENGTH(t.redis_key), '\n',t.redis_key, '\n','$', LENGTH(t.hkey), '\n',t.hkey, '\n','$', LENGTH(t.hval), '\n',t.hval) as redissql
    FROM (select 'HSET' AS redis_cmd , CONCAT('表名:',主键) AS redis_key,'字段名称' AS hkey, 字段  AS hval from 表名  ) 
    AS  t
    
    //3.将上述语句存入C:/Users/86188/Desktop/mysql_to_redis.sql脚本中
    //4.安装mysql和redis,并且配置全局环境变量
    //5.打开cmd窗口或者linux,执行即可
    //===mysql8===
    mysql –h ip地址 -u账户 -p密码 -D库名 --skip-column-names --raw <C:/Users/86188/Desktop/mysql_to_redis.sql |redis-cli -h 127.0.0.1 -p 6379 --pipe
    //===mysql6===
    mysql -h ip地址  -P 3306 -u 账户 -p密码  -D库名 --skip-column-names --raw <C:/Users/Administrator/Desktop/mysql_to_redis.sql |redis-cli -h 127.0.0.1 -p 6379 --pipe
    
  2. 所有数据表,一个表一个空间

    ps:这里发现当存在空值时,CONCAT结果为空,所以对于空数据需要做处理

    //1.将“表名”作为空间,主键字段作为键,数据json作为value,查询出数据
    select 'HSET' AS redis_cmd , '表名' AS redis_key,主键字段 AS hkey,   CONCAT('{', '"字段1名":', 字段1, ',"字段2名":', IFNULL(字段2, 'null')  ,'}')  AS hval from 表名 t
    
        
    //2.将查询语句拼接成redis入库语句
    SELECT CONCAT("*4\n",'$', LENGTH(t.redis_cmd), '\n',t.redis_cmd, '\n','$', LENGTH(t.redis_key), '\n',t.redis_key, '\n','$', LENGTH(t.hkey), '\n',t.hkey, '\n','$', LENGTH(t.hval), '\n',t.hval) as redissql
    FROM (select 'HSET' AS redis_cmd , '表名' AS redis_key,主键字段 AS hkey,   CONCAT('{', '"字段1名":', 字段1, ',"字段2名":', IFNULL(字段2, 'null')  ,'}')  AS hval from 表名 t  ) 
    AS  t
        
    //3.将上述语句存入C:/Users/86188/Desktop/mysql_to_redis.sql脚本中
    //4.安装mysql和redis,并且配置全局环境变量
        
    //5.打开cmd窗口或者linux,执行即可
    //mysql8
    mysql –h ip地址 -u账户 -p密码 -D库名 --skip-column-names --raw <C:/Users/86188/Desktop/mysql_to_redis.sql |redis-cli -h 127.0.0.1 -p 6379 --pipe
    //mysql5
    mysql -h ip地址  -P 3306 -u 账户 -p密码  -D库名 --skip-column-names --raw <C:/Users/Administrator/Desktop/mysql_to_redis.sql |redis-cli -h 127.0.0.1 -p 6379 --pipe
    
  3. 相关逻辑优化

    数据入库,如果作为键的字段非主键,即作为键的字段,可能存在相同的记录,后入的会把前面进入的给覆盖掉。所以如果存在优先级的数据关系,可以将优先级高的数据根据排序,排在后面,这样子最终存入缓存的数据,都是优先级高的数据。

    如:现在我们需要将人员信息存入缓存中,并且一个人员可能有多条记录。在这种情况下需要以最新的创建时间的人员记录为主。这种情况我们就可以根据人员id进行升序,插入时间进行升序。这样子,最终存入缓存的,一个人都必定只有一条记录,并且是最新的一条记录文章来源地址https://www.toymoban.com/news/detail-616855.html

    select 'HSET' AS redis_cmd , 'people' AS redis_key,people_id AS hkey,   CONCAT('{', '"people_id":', people_id, ',"create_time":', create_time  ,'}')  AS hval from people t order by people_id asc,create_time asc
    

到了这里,关于mysql数据利用pipe同步至redis的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 基于Canal实现MySQL 8.0 数据库数据同步

    主机名称 操作系统 说明 192.168.11.82 Ubuntu 22.04 主库所在服务器 192.168.11.28 Oracle Linux Server 8.7 从库所在服务器 1、Ubuntu系统下MySQL配置文件位置 2、CentOS系统下MySQL配置文件位置 3、添加如下配置,开启MySQL binlog功能 关于canal简介,这里就不再阐述,具体可以参看官方文档介绍,地

    2023年04月23日
    浏览(178)
  • 实现↝Mysql数据库主从复制搭建与同步

    一般数据库都是读取压力大于写数据压力,主从复制即为了实现数据库的负载均衡和读写分离。通过将Mysql的某一台主机的数据复制到其它主机(slaves)上,主服务器只负责写,而从服务器只负责读。 如生产环境中,使用redis数据库作为缓存数据库,用户访问业务数据时,先

    2024年02月10日
    浏览(51)
  • Mysql数据库--实现主从复制搭建与同步

    一般数据库都是读取压力大于写数据压力,主从复制即为了实现数据库的负载均衡和读写分离。通过将Mysql的某一台主机的数据复制到其它主机(slaves)上,主服务器只负责写,而从服务器只负责读。 如生产环境中,使用redis数据库作为缓存数据库,用户访问业务数据时,先

    2024年02月08日
    浏览(57)
  • 利用python读写mysql数据库数据

    方法一: 1. python连接mysql数据库:需要用到 pymysql 库和 sqlalchemy库: 创建连接 create_engine: 2. 提供 sql 语句 3. 执行查询,使用 read_sql_query 得到pandas的dataframe数据 4. 写数据到 mysql 数据库 方法二:使用 read_sql 方法三:直接使用pymysql进行查询,插入数据、更新数据、删除数据

    2024年02月09日
    浏览(57)
  • Linux系统中MySQL 数据库的主从同步

    在主数据库服务器上配置: 编辑主数据库服务器的配置文件(my.cnf) : 打开 MySQL 配置文件,一般路径为 /etc/my.cnf 或 /etc/mysql/my.cnf。 确保以下参数已启用或配置正确: 注: 一定是[mysqld]代码块中 创建用于复制的用户 : 登录到 MySQL 控制台: mysql -u root -p 创建用于复制的用户

    2024年03月23日
    浏览(56)
  • 使用Apache SeaTunnel进行数据库同步(MySQL to MySQL)

    Apache SeaTunnel 起到的主要作用是什么? 目前,大数据体系里有各种各样的数据引擎,有大数据生态的 Hadoop、Hive、Kudu、Kafka、HDFS,也有泛大数据库体系的 MongoDB、Redis、ClickHouse、Doris,更有云上的 AWS S3、Redshift、BigQuery、Snowflake,还有各种各样数据生态 MySQL、PostgresSQL、IoTDB、

    2024年02月15日
    浏览(51)
  • 发现Mysql的主从数据库没有同步,差点凉凉了

    摘要: 今天发现Mysql的主从数据库没有同步,瞬间整个人头皮发麻。 本文分享自华为云社区《糟了,生产环境数据竟然不一致,人麻了!》,作者:冰 河 。 今天发现Mysql的主从数据库没有同步 先上Master库: 查看下进程是否Sleep太多。发现很正常。 也正常。 再到Slave上查看

    2023年04月17日
    浏览(88)
  • 利用Python操作Mysql数据库

    我们在进行Python编程的时候,时常要将一些数据保存起来,其中最方便的莫过于保存在文本文件了。但是如果保存的文件太大,用文本文件就不太现实了,毕竟打开都是个问题,这个时候我们需要用到数据库。提到数据库,相信大部分人都不会陌生,今天我们要学的就是数据

    2023年04月24日
    浏览(33)
  • 阿里巴巴开源DataX全量同步多个MySQL数据库

    上次 写了阿里巴巴高效的离线数据同步工具DataX: https://mp.weixin.qq.com/s/_ZXqA3H__Kwk-9O-9dKyOQ 安装DataX这个开源工具,并且同步备份了几张数据表。但是发现一个问题,就是每张表都需要单独写一个 job。如果数据表有几百张是不是要写几百个,这个不太现实了。 正当一筹莫展之际

    2024年02月02日
    浏览(64)
  • Java中利用Redis,ZooKeeper,数据库等实现分布式锁(遥遥领先)

    1.1 什么是分布式锁 在我们进行单机应用开发涉及并发同步的时候,我们往往采用synchronized或者ReentrantLock的方式来解决多线程间的代码同步问题。但是当我们的应用是在分布式集群工作的情况下,那么就需要一种更加高级的锁机制,来处理种跨机器的进程之间的数据同步问题

    2024年02月03日
    浏览(49)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包