面试题
海量数据里查询某一固定前缀的key
生产上如何限制 keys * / flushdb / flushall 等危险命令以防止误删误用?
MEMORY USAGE 命令用过吗?
BigKey问题,多大算big?如何发现?如何删除?如何处理?
BigKey你做过调优吗?惰性释放lazyfree了解过吗?
MoreKey问题,生产上Redis数据库有1000万条记录,如何遍历?
MoreKey案例
大批量往Redis中插入100万条测试数据
试试keys * 遍历查询花费多少秒?试试就逝世,足足花费了二十几秒!
生产上如何限制 keys * / flushdb / flushall 等危险命令以防止误删误用?
通过redis.conf配置文件设置禁用
不用keys * 应该用什么?SCAN
详情见官方文档:
SCAN cursor [MATCH pattern] [COUNT count]
-
cursor - 游标。
-
pattern - 匹配的模式。
-
count - 指定从数据集里返回多少元素,默认值为 10 。
什么是 Redis 增量遍历?
SCAN 命令是一个基于游标的迭代器,每次被调用之后, 都会向用户返回一个新的游标, 用户在下次迭代时需要使用这个新游标作为 SCAN 命令的游标参数, 以此来延续之前的迭代过程。
非常特别,它不是从第一维数组的第零位一直遍历到末尾,而是采用了高位进位加法来遍历。之所以使用这样特殊的方式进行遍历,是考虑到字典的扩容和缩容时避免槽位的遍历重复和遗漏。
虽然
SCAN 返回一个包含两个元素的数组:
第一个元素是用于进行下一次迭代的新游标, 第二个元素则是一个数组, 这个数组中包含了所有被迭代的元素。如果新游标返回零表示迭代已结束。
SCAN的遍历顺序
BigKey案例
多大算big
参考《阿里云Redisson开发规范》
string和二级结构
string是value,最大512MB,但是 ≥ 10KB 就是BigKey
list、hash、set、zset,个数超过5000就是BigKey(by the way,它们都可以存储超过40亿个元素)
危害
-
内存不均,集群迁移困难
-
大key导致超时删除
-
网络流量阻塞
如何产生
社交类:王心凌粉丝列表,典型案例粉丝逐步递增
汇总统计:某个报表,年月日经年累月的积累
如何发现
redis-cli --bigkeys
优点:给出每种数据结构Top 1 bigkey,同时给出每种数据类型的键值个数+平均大小
不足:想查询大于10kb的所有key,--bigkeys参数就无能为力了,需要用到memory usage
来计算每个键值的字节数
redis-cli -h 127.0.0.1 -p 6379 -a 111111 --bigkeys
# 每隔 100 条 scan 指令就会休眠 0.1s,ops 就不会剧烈抬升,但是扫描的时间会变长
redis-cli -h 127.0.0.1 -p 7001 –-bigkeys -i 0.1
MEMORY USAGE key MEMORY USAGE key [SAMPLES count]
详情见官网:
返回的结果是 key
的值以及为管理该 key
分配的内存总字节数。
对于嵌套数据类型,可以使用选项 SAMPLES
,其中 count
表示抽样的元素个数,默认值为 5 。当需要抽样所有元素时,使用 SAMPLES 0
。
如何删除
参考《阿里云Redisson开发规范》
String
一般用del,过于庞大用unlink;
hash
使用hscan每次获取少量field-value,再使用hdel删除每个field。
命令:
阿里手册:
list
命令
阿里手册:
set
使用sscan每次获取部分元素,再使用srem命令删除每个元素
命令
阿里手册
zset
使用zscan
每次获取部分元素,再使用 ZREMRANGEBYRANK
命令删除每个元素
命令
阿里手册
BigKey生产调优
redis.conf 配置文件 LAZY FREEING 相关说明
阻塞和非阻塞删除命令
优化配置文章来源:https://www.toymoban.com/news/detail-760499.html
文章来源地址https://www.toymoban.com/news/detail-760499.html
到了这里,关于【Redis】BigKey问题的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!