Redis中的大key解决策略-Toy模板网

这篇具有很好参考价值的文章主要介绍了Redis中的大key解决策略。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

首先大key不是key很大而是key对应的value值很大
一般而言如果String类型值大于10KB，Hash，Set，Zset，List类型的元素的个数大于5000个都可以称之为大key

客户端超时等待：由于Redis执行命令是单线程处理，然后在操作大key时会比较耗时，那么就会阻塞Redis，从客户端这一视角来看就是很久很久都没有响应
引发网络阻塞：每次获取大key产生的流量较大，如果一个key的大小是1MB，每秒访问量为1000，那么每秒会产生1000MB的流量这对于普通千兆网卡是灾难的
阻塞工作线程：如果使用del删除大key，会阻塞工作线程这样就没有办法处理后续的命令
内存分布不均匀：集群模型在slot分片均匀的情况下，会出现数据和查询倾斜情况，部分有大key的Redis节点占用内存多，QPS比较大

使用时注意事项

最好在从节点上执行该命令或者在Redis实例业务压力的低峰阶段进行扫描查询，因为key很多时会很慢

不足之处

使用SCAN命令对数据库进行扫描。然后用TYPE命令获取返回的每一个key的类型

对于String类型，可以直接使用STRLEN命令获取字符串长度，也就是占用的内存空间字节数

对于集合类型来说可以使用MEMORY USAGE命令，查询有关键值对占用的内存空间

使用第三方开源工具，可以解析Redis快照，找到其中的大key

使用SCAN扫描key，比如删除Hash，先取100字段删除删除再取

在Redis4.0版本开始，可以采用异步删除法用unlink命令代替del删除

这样Redis会将这个key放入到一个异步线程中进行删除，这样不会阻塞主线程

前面两种都是主动删除，这一种是通过配置参数，当认为需要删除的时候就删除了

lazyfree-lazy-eviction：表示当 Redis 运行内存超过 maxmeory 时，是否开启 lazy free 机制删除；
lazyfree-lazy-expire：表示设置了过期时间的键值，当过期之后是否开启 lazy free 机制删除；
lazyfree-lazy-server-del：有些指令在处理已存在的键时，会带有一个隐式的 del 键的操作，比如 rename 命令，当目标键已存在，Redis 会先删除目标键，如果这些目标键是一个 big key，就会造成阻塞删除的问题，此配置表示在这种场景中是否开启 lazy free 机制删除；
slave-lazy-flush：针对 slave (从节点) 进行全量数据同步，slave 在加载 master 的 RDB 文件前，会运行 flushall 来清理自己的数据，它表示此时是否开启 lazy free 机制删除。

建议开启其中的 lazyfree-lazy-eviction、lazyfree-lazy-expire、lazyfree-lazy-server-del 等配置，这样就可以有效的提高主线程的执行效率