redis中使用bloomfilter判断元素是否存在

这篇具有很好参考价值的文章主要介绍了redis中使用bloomfilter判断元素是否存在。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

一 bloomfiler的作用

1.1 bloomfilter的作用

由一个初始值为0的bit数组组成,和多个hash函数构成,用来判断集合中是否存在某个元素。

一个很长的二进制数组(00000000)+一系列随机hash算法映射函数。主要用于判断一个元素是否存在集合中。

redis中使用bloomfilter判断元素是否存在,redis,redis,数据库,缓存

本质:判断一个数据是否存在一个大的集合中。有,可能有,无则一定没有

redis中使用bloomfilter判断元素是否存在,redis,redis,数据库,缓存

1.2 bloomfilter的原理

redis中使用bloomfilter判断元素是否存在,redis,redis,数据库,缓存

 1.3 使用场景

一般情况下,先查询缓存redis是否有该条数据,缓存中没有时,再查询数据库。当数据库也不存在该条数据时,每次查询都要访问数据库,这就是缓存穿透。缓存透带来的问题是,当有大量请求查询数据库不存在的数据时,就会给数据库带来压力,甚至会拖垮数据库。

可以使用布隆过滤器解决缓存穿透的问题。

redis中使用bloomfilter判断元素是否存在,redis,redis,数据库,缓存

1.4 hash值存储计算

redis中使用bloomfilter判断元素是否存在,redis,redis,数据库,缓存

散列函数的输入和输出并不是唯一的对应关系,如果两个散列值相同,两个输入值是相同的,也可能不是不同的。被称为hash碰撞。

public class Hset {
    public static void main(String[] args) {
        Set<Integer> st=new HashSet<>();
        int hcode=0;
        for(int k=0;k<200000;k++){
            hcode=new Object().hashCode();
            if(st.contains(hcode)){
                System.out.println("hash冲突:"+k);
            }
            st.add(hcode);
        }
    }

结果

redis中使用bloomfilter判断元素是否存在,redis,redis,数据库,缓存

 1.5 使用过滤器的步骤

1.初始化bitmap

默认为长度为m的值为0的bit位数组。redis中使用bloomfilter判断元素是否存在,redis,redis,数据库,缓存

2.添加占坑位

为了尽量地址不发生冲突,会使用多个hash函数对key进行运算,算得一个下标索引值,然后对位数组长度进行取模运算得到一个位置,每个hash函数都会算得一个不同的位置,再把位数组的这个几个位置都设置为1,完成add操作。即 对字符串进行多次hash(key)-》取模运算-得到坑位。

redis中使用bloomfilter判断元素是否存在,redis,redis,数据库,缓存

3.判断是否存在

查询时,先把这个key通过相同的多个hash函数进行运算,查看对应的位置是否为1;只要有一个位为0,那么说明布隆过滤器中的这个key不存在。如果这几个位置全都是1,那么说明可能存在。文章来源地址https://www.toymoban.com/news/detail-615739.html

到了这里,关于redis中使用bloomfilter判断元素是否存在的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • SQL Server判断数据库、表、列、视图、存储过程、函数是否存在

    在写一些业务逻辑相对复杂点的存储过程的时候,经常会用到临时表或者数据表作为临时结果的保存。但每次在作表是否存在的判断时,往往想不起完整的SQL写法。因此,记录一些常用的数据库对象是否存在的判断方法,可以达到快速查找的目的。正是:好记性不如烂笔头。

    2024年02月02日
    浏览(49)
  • [SQL Server 2008R2] 有关于判断表、字段、存过等元素是否存在相关SQL写法

    查询普通表是否存在可以使用object_id函数,下面的例子是查询表“t_test”是否存在之后从而进行其他的DLL操作:   临时表同样可以用object_id但是表名要记得加上库名和表空间: 或者 以上这个条件自行发挥,我这边使用的是like语句,判断的是只要是#temp开头的临时表存在。 有

    2023年04月26日
    浏览(39)
  • 2023-06-11:redis中,如何在100个亿URL中快速判断某URL是否存在?

    2023-06-11:redis中,如何在100个亿URL中快速判断某URL是否存在? 答案2023-06-11: 传统数据结构的不足 当然有人会想,我直接将网页URL存入数据库进行查找不就好了,或者建立一个哈希表进行查找不就OK了。 当数据量小的时候,这么思考是对的, 确实,将值映射到 HashMap 的 Key,

    2024年02月08日
    浏览(38)
  • PHP isset()函数使用详解,PHP判断变量是否存在

    「作者主页」: 士别三日wyx 「作者简介」: CSDN top100、阿里云博客专家、华为云享专家、网络安全领域优质创作者 「推荐专栏」: 对网络安全感兴趣的小伙伴可以关注专栏《网络安全入门到精通》 isset() 函数可以检测 「变量是否存在」 并非NULL。常用来判断变量是否被定义

    2024年02月08日
    浏览(38)
  • 使用js判断list中是否含有某个字符串,存在则删除,

    显示上图中使用了两种方式, 左边的是filter将不等于userCode的元素筛选出来组成一个新的list, 但是上面这个方法在 IE浏览器中不支持 , 所以改成了右边的方法,使用splice: splice传入两个参数,第一个参数是要删除的元素的索引位置,第二个是从这个索引往后删除几个;

    2024年01月24日
    浏览(44)
  • 【Shell-HDFS】使用Shell脚本判断HDFS文件、目录是否存在

    本文主要讲述如何使用 Shell 脚本判断 HDFS 文件或目录是否存在,算是一个小技巧吧,这几天做 distcp 的时候用到的,因为要判断 HDFS 中是否存在某个目录。 Shell脚本测试: 1、测试路径是否存在。 2、测试目录是否存在。 3、测试文件是否存在。 4、测试路径大小是否大于0。

    2023年04月24日
    浏览(58)
  • C# .NET SQL sugar中 IsAny进行根据条件判断数据是否存在 IsAny的使用

    首先确保你的Service层继承的表名 控制器中使用IsAny进行根据条件判断数据是否存在

    2024年01月20日
    浏览(34)
  • 微信小程序如何判断对象是否为空、判断值是否存在

    在 js 文件中需要对 data 里一些的对象进行判断是否为空 比如这里我要在页面加载时判断 data 中的 record 是否为空: 在 onload() 方法中使用 Object.key().length0 来判断: Object.keys()方法:将给定对象的所有可枚举属性变成一个字符串数组 解释:将需要判断的对象转换为一个字符

    2024年02月11日
    浏览(64)
  • RestHighLevelClient 判断索引是否存在

    2024年01月24日
    浏览(34)
  • 使用python在es中基本操作详解(添加索引、查询索引、删除索引、判断索引是否存在、添加数据、更新数据、查询数据)

    示例代码1: 运行结果: 示例代码2: 运行结果: 示例代码3: 运行结果: 注意: 对比上面几种建立索引的方法,是有一定区别的。根据响应结果可以看出: es. indices.create() 方法是标准的创建索引的方法,其它几种方法在创建索引的同时也会生成一条数据,并且生成mappin

    2024年02月11日
    浏览(45)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包