Redis 分布式锁

这篇具有很好参考价值的文章主要介绍了Redis 分布式锁。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

什么是分布式锁

在一个分布式的系统中,也会涉及到多个节点访问同一个公共资源的情况。此时就需要通过锁来做互斥控制,避免出现类似于“线程安全”的问题。

而 java 的 synchronized 或者 C++ 的 std::mutex,这样的锁都是只能在当前进程中生效,在分布式的这种多个进程多个主机的场景下就无能为力了。

此时就需要使用到分布式锁。

本质上就是使用一个公共的服务器,来记录加锁状态。

这个公共的服务器可以是 Redis,也可以是其他组件(比如 MySQL 或者 ZooKeeper 等),还可以是我们自己写的一个服务。

分布式锁的基础实现

思路非常简单,本质上就是通过一个键值对来标识锁的状态。

举个例子:考虑买票的场景,现在车站提供了若千个车次,每个车次的票数都是固定的。现在存在多个服务器节点,都可能需要处理这个买票的逻辑:先查询指定车次的余票,如果余票>0,则设置余票值 -= 1。

显然上述的场景是存在"线程安全"问题的,需要使用锁来控制,否则就可能出现"超卖"的情况。

此时如何进行加锁呢?

我们可以在上述架构中引入一个 Redis,作为分布式锁的管理器。

此时,如果买票服务器 1 尝试买票,就需要先访问 Redis,在 Redis 上设置一个键值对比如 key 就是车次,value 随便设置个值(比如 1)。

如果这个操作设置成功,就视为当前没有节点对该 001 车次加锁就可以进行数据库的读写操作,操作完成之后,再把 Redis 上刚才的这个键值对给删除掉。

如果在买票服务器 1 操作数据库的过程中,买票服务器 2 也想买票也会尝试给 Redis 上写一个键值对 key 同样是车次。但是此时设置的时候发现该车次的 key 已经存在了,则认为已经有其他服务器正在持有锁,此时服务器 2 就需要等待或者暂时放弃。

Redis 中提供了 setnx 操作,正好适合这个场景。即:key 不存在就设置,存在则直接失败

引入过期时间

当服务器 1 加锁之后,开始处理买票的过程中,如果服务器 1 意外宕机了,就会导致解锁操作(删除该 key)不能执行,就可能引起其他服务器始终无法获取到锁的情况。

为了解决这个问题,可以在设置 key 的同时引入过期时间,即这个锁最多持有多久,就应该被释放

可以使用 set ex nx 的方式,在设置锁的同时把过期时间设置进去

注意!此处的过期时间只能使用一个命令的方式设置

如果分开多个操作,比如 setnx 之后,再来一个单独的 expire,由于 Redis 的多个指令之间不存在关联,并且即使使用了事务也不能保证这两个操作都一定成功,因此就可能出现 setnx 成功,但是 expire失败的情况.

此时仍然会出现无法正确释放锁的问题

引入校验 id

对于 Redis 中写入的加锁键值对,其他的节点也是可以删除的。

比如服务器 1 写入一个 “001":1 这样的键值对,服务器 2 是完全可以把 “001” 给删除掉的。当然,服务器 2 不会进行这样的“恶意删除”操作,不过不能保证因为一些 bug 导致服务器 2 把锁误删除。

为了解决上述问题,我们可以引入一个校验 id。

比如可以把设置的键值对的值,不再是简单的设为一个 1,而是设成服务器的编号。形如"001":“服务器1”。

这样就可以在删除 key(解锁)的时候,先校验当前删除 key 的服务器是否是当初加锁的服务器,如果是才能真正删除;不是,则不能删除

逻辑用伪代码描述如下:

String key = [要加锁的资源 id];
String serverId = [服务器的编号];
//  加锁, 设置过期时间为 10s 
redis.set(key, serverId, "NX", "EX", "10s");
// 执⾏各种业务逻辑, ⽐如修改数据库数据.  
doSomeThing();

// 解锁, 删除key. 但是删除前要检验下 serverId 是否匹配.  
if (redis.get(key) == serverId) {
 	redis.del(key);
 }

但是很明显,解锁逻辑是两步操作"get"和"del",这样做并非是原子的.

引入lua

为了使解锁操作原子可以使用 Redis 的 Lua 脚本功能

Lua 的语法类似于 JS,是一个动态弱类型的语言。Lua 的解释器一般使用 C 语言实现。Lua 语法简单精炼,执行速度快,解释器也比较轻量(Lua 解释器的可执行程序体积只有 200KB 左右).

因此 Lua 经常作为其他程序内部嵌入的脚本语言,Redis 本身就支持 Lua 作为内嵌脚本。

很多程序都支持内嵌脚本,比如 MySQL8 支持 JS 作为内嵌脚本,比如 Vim 支持 VimScript 和 Python 作为内嵌脚本…通过内嵌脚本来实现更复杂的功能,提供更强的扩展性

Lua 除了和 Redis 搭伙之外,在很多场景也会作为内嵌脚本,比如在游戏开发领域常常作为编写逻辑的语言.(比如魔兽世界,大话西游等)

使用 Lua 脚本完成上述解锁功能

if redis.call('get',KEYS[1]) == ARGV[1] then 
	return redis.call('del',KEYS[1]) 
else 
	return 0 
end;

上述代码可以编写成一个 .lua 后缀的文件,由 redis-cli 或者 redis-plus-plus 或者 jedis 等客户端加载,并发送给 Redis 服务器,由 Redis 服务器来执行这段逻辑。

一个 lua 脚本会被 Redis 服务器以原子的方式来执行。

引入 watch dog(看门狗)

上述方案仍然存在一个重要问题。当我们设置了 key 过期时间之后(比如 10s),仍然存在一定的可能性,当任务还没执行完,key 就先过期了。这就导致锁提前失效。

把这个过期时间设置的足够长,比如 30s,是否能解决这个问题呢?很明显,设置多长时间合适,是无止境的。即使设置再长,也不能完全保证就没有提前失效的情况。

而且如果设置的太长了,万一对应的服务器挂了,此时其他服务器也不能及时的获取到锁。

因此相比于设置一个固定的长时间,不如动态的调整时间更合适。

所谓 watch dog,本质上是加锁的服务器上的一个单独的线程,通过这个线程来对锁过期时间进行“续约"。

这个线程是业务服务器上的,不是 Redis 服务器的

举个具体的例子:

初始情况下设置过期时间为 10s,同时设定看门狗线程每隔 3s 检测一次

那么当 3s 时间到的时候,看门狗就会判定当前任务是否完成

  • 如果任务已经完成,则直接通过 lua 脚本的方式,释放锁(删除 key).
  • 如果任务未完成,则把过期时间重写设置为 10s.(即“续约”)

这样就不担心锁提前失效的问题了。而且另一方面,如果该服务器挂了,看门狗线程也就随之挂了,此时无人续约,这个 key 自然就可以迅速过期,让其他服务器能够获取到锁了

引入 Redlock 算法

实践中的 Redis 一般是以集群的方式部署的(至少是主从的形式,而不是单机)那么就可能出现以下比较极端的大冤种情况:

服务器 1 向 master 节点进行加锁操作。这个写入 key 的过程刚刚完成,master 挂了;slave 节点升级成了新的 master 节点。但是由于刚才写入的这个 key 尚未来得及同步给 slave 呢,此时就相当于服务器 1 的加锁操作形同虚设了,服务器 2 仍然可以进行加锁(即给新的 master 写入 key,因为新的 master 不包含刚才的 key)

为了解决这个问题,Redis 的作者提出了 Redlock 算法

我们引入一组 Redis 节点其中每一组 Redis 节点都包含一个主节点和若于从节点并且组和组之间存储的数据都是一致的,相互之间是"备份"关系(而并非是数据集合的一部分,这点有别于 Redis cluster)

加锁的时候,按照一定的顺序,写多个 master 节点在写锁的时候需要设定操作的"超时时间"比如 50ms。即如果 setnx 操作超过了 50ms 还没有成功就视为加锁失败。

Redis 分布式锁,Redis,redis,数据库

如果给某个节点加锁失败,就立即再尝试下一个节点。当加锁成功的节点数超过总节点数的一半,才视为加锁成功

如上图,一共五个节点,三个加锁成功,两个失败,此时视为加锁成功.

这样的话,即使有某些节点挂了,也不影响锁的正确性

那么是否可能出现上述节点都同时遇到了“大冤种”情况呢?

理论上这件事是可能发生的,但是概率太小了工程上就可以忽略不计了

同理,释放锁的时候,也需要把所有节点都进行解锁操作.(即使是之前超时的节点,也要尝试解锁,尽量保证逻辑严密)

失败,此时视为加锁成功.

这样的话,即使有某些节点挂了,也不影响锁的正确性

那么是否可能出现上述节点都同时遇到了“大冤种”情况呢?

理论上这件事是可能发生的,但是概率太小了工程上就可以忽略不计了

同理,释放锁的时候,也需要把所有节点都进行解锁操作.(即使是之前超时的节点,也要尝试解锁,尽量保证逻辑严密)

简而言之,Redlock 算法的核心就是,加锁操作不能只写给一个 Redis 节点,而要写个多个!! 分布式系统中任何一个节点都是不可靠的最终的加锁成功结论是“少数服从多数的”。文章来源地址https://www.toymoban.com/news/detail-832811.html

到了这里,关于Redis 分布式锁的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 初识 Redis - 分布式,内存数据存储,缓存

    目录 1. 什么是 Redis 1.1 Redis 内存数据存储 1.2 Redis 用作数据库 1.3 Redis 用作缓存 (cache) 1.4 用作消息中间件 The open source , in-memory data store used by millions of developers as a database, cache, streaming engine, and message broker. 开源的 内存数据存储 ,被数百万开发人员用作 数据库、缓存、流引擎

    2024年02月15日
    浏览(32)
  • 分布式数据库架构

    对于mysql架构,一定会使用到读写分离,在此基础上有五种常见架构设计:一主一从或多从、主主复制、级联复制、主主与级联复制结合。 1.1、主从复制 这种架构设计是使用的最多的。在读写分离的基础上,会存在一台master作为写机,一个或多个slave作为读机。因为在实际的

    2024年02月10日
    浏览(36)
  • 分析型数据库:分布式分析型数据库

    分析型数据库的另外一个发展方向就是以分布式技术来代替MPP的并行计算,一方面分布式技术比MPP有更好的可扩展性,对底层的异构软硬件支持度更好,可以解决MPP数据库的几个关键架构问题。本文介绍分布式分析型数据库。 — 背景介绍— 目前在分布式分析型数据库领域,

    2023年04月14日
    浏览(47)
  • 分布式数据库HBase

    HBase是一个高可靠、高性能、 面向列 、可伸缩的分布式数据库,是谷歌BigTable的开源实现,主要用来存储非结构化和把结构化的松散数据。 HBase的目标是处理非常庞大的表,可以通过水平扩展的方式,利用 廉价计算机集群 处理由超过10亿行数据和数百万列元素组成的数据表。

    2024年02月09日
    浏览(46)
  • 【大数据】分布式数据库HBase

    目录 1.概述 1.1.前言 1.2.数据模型 1.3.列式存储的优势 2.实现原理 2.1.region 2.2.LSM树 2.3.完整读写过程 2.4.master的作用 本文式作者大数据系列专栏中的一篇文章,按照专栏来阅读,循序渐进能更好的理解,专栏地址: https://blog.csdn.net/joker_zjn/category_12631789.html?spm=1001.2014.3001.5482 当

    2024年04月27日
    浏览(32)
  • “深入解析Redis:高性能缓存与分布式数据存储“

    标题:深入解析Redis:高性能缓存与分布式数据存储 摘要:本文将深入解析Redis,介绍其作为高性能缓存和分布式数据存储的特点和功能,并提供示例代码展示其使用方法。 正文: 一、引言 Redis是一个开源的内存数据结构存储系统,它以其高性能、灵活的数据结构以及丰富的

    2024年02月17日
    浏览(43)
  • 分布式数据库-事务一致性

    version: v-2023060601 author: 路__ 分布式数据库的“强一致性”应该包含两个方面: serializability(串行) and linearizability(线性一致) ,上述图为“Highly Available Transactions: Virtues and Limitations”论文中对于一致性模型的介绍。图中箭头表示一致性模型之间的关系。对于异步网络上的分

    2024年02月08日
    浏览(39)
  • 分布式数据库NoSQL(二)——MongoDB 数据库基本操作

    MongoDB 是一个基于分布式文件存储的数据库。由 C++ 语言编写。旨在为 WEB 应用提供可扩展的高性能数据存储解决方案。 MongoDB 是一个介于关系数据库和非关系数据库之间的产品,是非关系数据库当中功能最丰富,最像关系数据库的。它支持的数据结构非常松散,是类似 json 的

    2024年02月06日
    浏览(36)
  • 微服务 - Redis缓存 · 数据结构 · 持久化 · 分布式 · 高并发

    系列目录 微服务 - 概念 · 应用 · 架构 · 通讯 · 授权 · 跨域 · 限流 微服务 - Consul集群化 · 服务注册 · 健康检测 · 服务发现 · 负载均衡 微服务 - Redis缓存 · 数据结构 · 持久化 · 分布式 · 高并发 微服务 - Nginx网关 · 进程机制 · 限流熔断 · 性能优化 · 动态负载 · 高可用

    2023年04月18日
    浏览(37)
  • 聊聊分布式 SQL 数据库Doris(二)

    Doris中,Leader节点与非Leader节点和Observer节点之间的元数据高可用和一致性,是通过bdbje(全称:Oracle Berkeley DB Java Edition)的一致性和高可用实现的。 元数据与同步流程 元数据主要存储四类数据: 用户数据信息. 包括数据库, 表的schema, 分片信息等 各类作业信息. 如导入作业, clo

    2024年02月05日
    浏览(53)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包