【实战】使用Lua脚本怎么清理redis中的数据【实战】使用Lua脚本怎么清理redis中的数据

这篇具有很好参考价值的文章主要介绍了【实战】使用Lua脚本怎么清理redis中的数据【实战】使用Lua脚本怎么清理redis中的数据。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

概述

  1. 首先我们通过hiredis 向redis 中写入了数据,这里我们主要以测试为目的,所以,Key 值设定为毫秒级时间戳。
  2. 但是当我们测试完成之后,需要验证实际情况,这里我们直接使用redis-cli 登录数据库看看。
  3. 本次测试完成,接下来要结合业务开始测试,需要清理数据库,但是一条一条的删除太慢了。这里给出lua 脚本,以及使用方式。

接下来为具体实际内容。

详述

通过消息队列接收数据,并向redis中存储。

使用技术栈:ZeroMQ、redis
简述:通过消息队列接收转发的消息内容,存储到缓存数据库中。
key-value: 毫秒级时间戳-消息内容

/*
 * @Author       : Zry && 978524088@qq.com
 * @Date         : 2023-07-05 15:31:34
 * @LastEditors  : Zry && 978524088@qq.com
 * @LastEditTime : 2023-07-05 15:46:04
 * @FilePath     : /zryTest/src/include/redis/redis_zmq/receiver.c
 * @Description  :
 *
 * Copyright (c) 2023 by 978524088@qq.com, All Rights Reserved.
 */

#include <stdio.h>
#include <stdlib.h>
#include <string.h>
#include <time.h>
#include <zmq.h>
#include <hiredis/hiredis.h>

// 定义Redis服务器的地址和端口
#define REDIS_HOST "127.0.0.1"
#define REDIS_PORT 6379

// 定义消息的最大长度
#define MAX_MESSAGE_SIZE 1024

long long current_timestamp()
{
    struct timespec ts;
    clock_gettime(CLOCK_MONOTONIC, &ts);
    return ts.tv_sec * 1000LL + ts.tv_nsec / 1000000LL;
}

int main()
{
    // 创建zmq的上下文和socket,用于接收路由消息
    void *context = zmq_ctx_new();
    void *socket = zmq_socket(context, ZMQ_ROUTER);
    zmq_bind(socket, "tcp://*:5566");

    while (1)
    {
        // 接收路由消息的各个部分
        zmq_msg_t identity;
        zmq_msg_init(&identity);
        zmq_msg_recv(&identity, socket, 0);

        zmq_msg_t empty;
        zmq_msg_init(&empty);
        zmq_msg_recv(&empty, socket, 0);

        zmq_msg_t message;
        zmq_msg_init(&message);
        zmq_msg_recv(&message, socket, 0);

        // 获取消息内容和类型
        char *content = (char *)zmq_msg_data(&message);
        size_t content_size = zmq_msg_size(&message);
        char *type = (char *)zmq_msg_data(&empty);
        size_t type_size = zmq_msg_size(&empty);

        // 获取当前时间戳
        long long timestamp = current_timestamp();

        // 将消息存储到Redis缓存中
        redisContext *redis = redisConnect(REDIS_HOST, REDIS_PORT);
        if (redis != NULL && redis->err == 0)
        {
            // 构造Key
            char key[256];
            snprintf(key, sizeof(key), "%lld:%.*s", timestamp, (int)type_size, type);

            // 存储消息内容到Redis
            redisReply *reply = (redisReply *)redisCommand(redis, "SET %s %b", key, content, content_size);
            freeReplyObject(reply);

            // 打印存储结果
            printf("Stored message: %s\n", key);

            // 断开与Redis服务器的连接
            redisFree(redis);
        }
        else
        {
            printf("Failed to connect to Redis server\n");
        }

        // 释放消息
        zmq_msg_close(&identity);
        zmq_msg_close(&empty);
        zmq_msg_close(&message);
    }

    // 关闭zmq的socket和上下文
    zmq_close(socket);
    zmq_ctx_destroy(context);

    return 0;
}

通过 redis-cli 登录数据库查看具体的数据内容。

要通过Redis直接查看数据内容,你可以使用Redis的命令行工具redis-cli来连接到Redis服务器,并执行相应的命令来查看数据。

以下是一些常用的Redis命令,可以帮助你查看数据内容:

查看所有键:使用KEYS *命令可以列出所有的键。
KEYS *

获取键的值:使用GET命令可以获取指定键的值。
GET key
将key替换为你要查看的键的名称。

获取哈希表的字段和值:使用HGETALL命令可以获取指定哈希表的所有字段和值。
HGETALL hash
将hash替换为你要查看的哈希表的名称。

获取列表的元素:使用LRANGE命令可以获取指定列表的指定范围内的元素。
LRANGE list start stop
将list替换为你要查看的列表的名称,start和stop分别替换为范围的起始和结束索引。

获取集合的元素:使用SMEMBERS命令可以获取指定集合的所有元素。
SMEMBERS set
将set替换为你要查看的集合的名称。

获取有序集合的元素:使用ZRANGE命令可以获取指定有序集合的指定范围内的元素。
ZRANGE zset start stop
将zset替换为你要查看的有序集合的名称,start和stop分别替换为范围的起始和结束索引。

这里我使用 KEYS *查看,因为现在只有我存储的少量数据

127.0.0.1:6379> KEYS *
.......
1054) "3673007893:Hello, world!"
1055) "3673008590:"
1056) "3673009630:test"
1057) "3673010538:"
1058) "3673008562:"
1059) "3673010512:client"
1060) "3673008640:Hello, world!"
1061) "3673009571:client"
1062) "3673010513:Hello, world!"
1063) "3673006965:Hello, world!"
1064) "3673008613:Hello, world!"
1065) "3673006999:Hello, world!"

至此可以确认,数据已经从消息队列读取出,并保存到数据库中了。

使用lua 脚本 清理数据内容。

接下来,将设计具体消息内容,key 键种类、过期时间、为了数据干净,现在先要把当前存在的数据清理掉。

因为redis 我没找到直接形如 DEL * 的方式删掉全部,所以干脆通过lua 脚本 来批量删除

使用以下 的Lua脚本来批量删除键:

local keys = redis.call('KEYS', ARGV[1])
for i, key in ipairs(keys) do
    redis.call('DEL', key)
end

将这个修正后的Lua脚本保存到一个文件中,例如delete_keys.lua

然后,使用以下命令来执行Lua脚本并批量删除键:

redis-cli EVAL "$(cat delete_keys.lua)" 0 prefix:*

prefix:*替换为实际的键的模式。

这个命令使用了Redis的EVAL命令和Lua脚本。它通过EVAL命令执行Lua脚本,并将键的模式作为参数传递给Lua脚本。Lua脚本使用KEYS命令获取匹配模式的键的列表,并使用DEL命令多次调用来删除每个键。

请注意,使用DEL命令删除键是不可逆的操作,一旦删除就无法恢复。在执行删除操作之前,请确保你已经备份了需要保留的数据。文章来源地址https://www.toymoban.com/news/detail-541232.html

到了这里,关于【实战】使用Lua脚本怎么清理redis中的数据【实战】使用Lua脚本怎么清理redis中的数据的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 使用lua脚本操作redis

    redis中实现事务有两种方法: 1.WATCH监视键的变动,然后MULTI开始事务,EXEC提交事务 WATCH key [key…]:监视一个或多个键,如果在事务执行之前被修改,则事务被打断。 MULTI:标记一个事务的开始。 EXEC:执行事务中的所有命令。 DISCARD:取消一个事务,放弃执行事务中的所有命

    2024年02月16日
    浏览(49)
  • Redis命令行使用Lua脚本

    Lua脚本在Redis中的使用非常有用,它允许你在Redis服务器上执行自定义脚本,可以用于复杂的数据处理、原子性操作和执行多个Redis命令。以下是Lua脚本在Redis中的基本使用详细讲解: 运行Lua脚本: 在Redis中,你可以使用 EVAL 或 EVALSHA 命令来运行Lua脚本。 EVAL 用于执行未经缓存

    2024年02月07日
    浏览(48)
  • lua脚本获取table类型-Java使用lua脚本操作redis获取zset元素的集合

    lua脚本获取table类型-Java使用lua脚本操作redis获取zset元素的集合 7.0点赞功能-定时持久化到数据库-lua脚本的编写_哔哩哔哩_bilibili https://www.bilibili.com/video/BV1bu411j75u 这个脚本主要是放到Springboot工程里的, 这里如果是向放到字段控制台执行,那就要加入 eval 以及其他参数:

    2024年02月13日
    浏览(50)
  • 【Redis】Redis 的学习教程(十二)之在 Redis使用 lua 脚本

    lua 菜鸟教程:https://www.runoob.com/lua/lua-tutorial.html 在 Redis 使用 lua 脚本的好处: 减少网络开销 。可以将多个请求通过脚本的形式一次发送,减少网络时延及开销 原子性操作 。Redis会将整个脚本作为一个整体执行,中间不会被其他请求插入。因此在脚本运行过程中无需担心会出

    2024年02月07日
    浏览(49)
  • Spring Boot - 结合 Redis 使用 Lua脚本

    在Spring Boot中整合Redis并使用Lua脚本: 添加Spring Boot和Redis的依赖: 首先,在Spring Boot项目的 pom.xml 文件中添加Spring Boot和Spring Data Redis的依赖: 配置Redis连接: 在 application.properties 或 application.yml 中配置Redis的连接信息,以及 redis 配置: RedisConfig.java

    2024年02月08日
    浏览(43)
  • Java生态/Redis中如何使用Lua脚本

    Mac上安装LUA很简单,直接使用 brew 相关命令; 使用 lua -v 命令可以看到lua已经安装完毕。 创建一个test.lua文件,内容为: 执行命令: 输出为: Lua 提供了交互式编程和脚本式编程: 交互式编程:直接在命令行中输入语法,可以立即执行并查看到执行效果。 脚本是编程:编写

    2024年01月20日
    浏览(64)
  • lua脚本的基本语法,以及Redis中简单使用

    Lua 脚本的基本语法如下: 变量与赋值: 变量名可以是字母、数字和下划线的组合,以字母或下划线开头。Lua 是动态类型语言,无需事先声明变量类型。 控制结构: a) 条件语句: b) 循环语句: 函数定义: 函数可以有参数和返回值。 表(table): 表是 Lua 中的一种数据结构

    2024年02月04日
    浏览(52)
  • 在 Redis 中使用 Lua 脚本执行复杂操作和事务

    在 Redis 中使用 Lua 脚本执行复杂操作和事务 Redis 作为一个高性能的键值存储数据库,它的强大功能远不止于简单的数据存储和检索。Redis 自 2.6 版本起引入了对 Lua 脚本的支持,这意味着你可以在 Redis 服务器上直接运行 Lua 脚本。这一功能为执行复杂的操作和事务提供了强大

    2024年01月25日
    浏览(51)
  • redis 无占用 两种方式 清除大批量数据 lua脚本

    redis存储了很多无用的key,占用了大量内存,需要清除 第一种 (颗粒度较大) lua脚本,删除某些规则的key,输入删除的key,返回删除的符合规则的key的数量 弊端:颗粒度比较大,发送一个lua脚本去执行,会占用较多时间,堵塞其他redis命令 java代码 这样直接删除,因为规则有很

    2024年04月28日
    浏览(38)
  • 在Springboot项目中使用Redis提供给Lua的脚本

    在Spring Boot项目中,你可以使用RedisTemplate来执行Lua脚本。RedisTemplate是Spring Data Redis提供的一个Redis客户端,它可以方便地与Redis进行交互。以下是使用RedisTemplate执行Lua脚本的一般步骤: 添加Spring Data Redis依赖: 首先,确保你的Spring Boot项目中已经添加了Spring Data Redis依赖。你可

    2024年02月07日
    浏览(37)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包