深入理解高并发超卖一系列问题与解决方案(近7万字详解,跳槽涨薪必备宝藏珍藏级分享)

这篇具有很好参考价值的文章主要介绍了深入理解高并发超卖一系列问题与解决方案(近7万字详解,跳槽涨薪必备宝藏珍藏级分享)。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

破除困境带你飞

能遇上高并发的,基本都是有点规模的公司,小公司基本都是CRUD。
想去一线城市跳槽,想去有高并发的公司,但是没有高并发经验,没有高并发的经验,就去不了高并发的公司,去不了这样的公司,就没有高并发经验,前狼后虎两头堵的困境,干就完了。

一语道破

超卖问题是属于并发安全问题,在并发情况下出现数据一致性的问题的表现,据有代表性。
这是个概率问题,不是一定发生或一定不发生。
核心问题就两个:

  • 并发引起的资源竞争却没有加锁,导致运行时序不可控(MySQL超卖)。
  • 多个读写操作存在间隙,导致并发请求通过间隙插队引发的时序不可控问题(Redis超卖)。

解决方案也很简单,上锁或者保证无间隙执行就行了。

并发问题仅仅只是一种,至于并发带来的,大数据存储、检索、以及安全问题都是需要考虑进去的。

MySQL超卖原理分析

假设无并发情况下代码逻辑没问题。这个问题主要出现在获取库存数据的方式上,并发过来时,多个请求获取到的库存一致,然后都在这个一致的库存基础上扣库存,自然要出错。

MySQL的解决方案

并发存在资源争夺问题,时序是不可控的,所以要上锁,强制在短时间内让数据串行更改。

  • 乐观锁:MySQL乐观锁与悲观锁
  • 悲观锁:MySQL锁(读锁、共享锁、写锁、S锁、排它锁、独占锁、X锁、表锁、意向锁、自增锁、MDL锁、RL锁、GL锁、NKL锁、插入意向锁、间隙锁、页锁、悲观锁、乐观锁、隐式锁、显示锁、全局锁、死锁)
  • 分布式锁:深入理解PHP+Redis实现分布式锁的相关问题

Redis超卖原理分析

Redis超卖,主要是开发者没有考虑到并发下资源争夺的间隙问题。
redis get('stock')是5,然后decr('stock'),想让库存减到4,看起来没毛病。
但是get和decr是两条语句,因此存在间隙,get('stock')是5只能代表执行的那个时刻是5,decr在执行时不能保证redis是以5的基础上自减的,可能已经被秒成0了。

Redis的解决方案

  • 笨方法:
    由于Redis是单线程的,利用Redis双向链表的特性可以完成,利用左推右拉的单向队列完成对库存的扣减。笨方法,笨就笨在要是有1000个商品,一共50000个库存,难道要存50000条数据吗。
    伪代码如下:
    实现通过缓存预热,将商品id缓存进redis队列中,例如:lPush('goods_ids' , 商品id)	
    然后抢购时:在逐个取出来,利用这些数据,做其它逻辑操作rPush('goods_ids', 商品id),知道这个动作返回false,证明库存全部扣完。
    
  • Redis+lua:
    利用Redis+Lua脚本的方式,让扣库存的动作无间隙执行,超卖问题,用redis操作string,或者hash类型都行。
    //用字符串类型操作,单商品库存
    $lua = <<<EOF
        local stock_key   = KEYS[1]                                -- Redis中存储库存数量的键名
        local input_stock = tonumber(ARGV[1])                      -- 要扣除的库存数量
        local redis_stock = tonumber(redis.call('GET', stock_key)) -- 获取当前库存数量
        if redis_stock >= input_stock then
            redis.call('DECRBY', stock_key, input_stock)           -- 如果库存充足,则扣除库存数量
            return redis_stock - input_stock                       -- 返回扣除后的库存数量
        else
            return -1                                              -- 库存不足,返回标记值,别返回0,有歧义
        end
    EOF;
    
    $redis = new Redis();
    $redis->connect('127.0.0.1', 6379);
    //stock为string名,2为要扣库存的数量
    $res = $redis->eval($lua, ['stock' , 2], 1);
    if($res == -1) {
        //库存不足
    }
    
    //库存充足,其它下游流程...
    
    用hash类型操作多商品库存
    $script = <<<EOF
        local hash_key    = KEYS[1]
        local goods_id    = KEYS[2]
        local input_stock = - tonumber(ARGV[1])
        if input_stock >= 0 then
            return -1 -- 表单验证
        end
        
        local redis_stock = tonumber(redis.call('HGET', hash_key, goods_id))
        if redis_stock == nil then
            return -2 -- 商品不存在
        end
    
        local stock_res = redis_stock + input_stock
        if stock_res < 0 then
            return -3 -- 库存不足
        end
    
        redis.call('HSET', hash_key, goods_id, stock_res)
        return stock_res
    EOF;
    //扣减商品id为50的3个库存。
    $res = $redis->eval($script, ['stock', 50, 3], 2);
    if($res == -1) {
        echo '库存数据不合法';
        return;
    }
    if($res == -2) {
        echo '商品不存在';
        return;
    }
    if($res == -3) {
        echo '库存不足';
        return;
    }
    
    echo "库存扣减成功,当前库存为:{$res}";
    

关于Redis+Lua是否是原子性执行的争议问题

https://redis.io/docs/latest/develop/interact/programmability/eval-intro/
对Redis官网进行搜索,出现了原子性的字眼。
原话是:
Blocking semantics that ensure the script's atomic execution.
Lua lets you run part of your application logic inside Redis. Such scripts can perform conditional updates across multiple keys, possibly combining several different data types atomically.

但是我想了想有矛盾的地方:
MySQL使用了undo log来保证原子性,要么成功全部执行,要么失败全部回滚。
众所周知,Redis不支持回滚的,那么ACID的A就没办法全部保证,最多是没有执行期间没有间隙,不被其它过来的请求影响,引起并发问题。

然后我又看了看阿里某架构师对此的剖析,跟我设想的一样:
Redis会把Lua脚本当做一个整体去执行,中间不会被其它的命令插入,但是如果执行过程中出现了错误,事务是不会回滚的。
也就意味着执行Lua脚本的过程不可被拆分,不可被中断,但是遇到错误不会回滚。

并发情况下MySQL与Redis缓存一致性问题详解

并发情况单个MySQL或单个Redis本身都有读写不一致的问题,更何况MySQL与Redis两个组件间通信又没有事务的约束,或者锁的加持,同样会出现一致性问题。
深入理解高并发下的MySQL与Redis缓存一致性问题(增删改查数据缓存的一致性、Canal、分布式系统CAP定理、BASE理论、强、弱一致性、顺序、线性、因果、最终一致性)

高并发带来的数据幂等性问题

库存一致性是一方面,库存保证好了,不代表,其它地方就一定不会出现库存一致性问题:
高并发下数据幂等问题的9种解决方案

高并发带来海量数据MySQL查询问题

MySQL索引底层原理相关问题自总结(难度对标18K-25K薪资,已总结80+,持续更新中)

MySQL查询优化方案汇总(索引相关)

高并发带来的亿级大数据检索问题

万字详解PHP+Sphinx中文亿级数据全文检索实战(实测亿级数据0.1秒搜索耗时)

高并发从侧面带来的安全问题

深入理解PHP+Redis实现布隆过滤器(亿级大数据处理和黑客攻防必备)文章来源地址https://www.toymoban.com/news/detail-855029.html

其它文章持续更新中……

到了这里,关于深入理解高并发超卖一系列问题与解决方案(近7万字详解,跳槽涨薪必备宝藏珍藏级分享)的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • JMeter压力测试案例(商品超卖并发问题)

    压力测试可以用来验证软件系统的稳定性和可靠性,在压力下测试系统的性能和稳定性,发现并解决潜在的问题,确保系统在高负载情况下不会崩溃。 压力测试可以用来评估软件系统的容量和性能,通过模拟高负载情况下的用户访问量和数据量,测试系统的处理能力和响应速

    2024年02月05日
    浏览(39)
  • 互联网中的商品超卖问题及其解决方案:Java中Redis结合UUID的应用

    在设计商品下单和库存扣减,你一定遇到过这样的问题,库存扣减为0了,可是消费者还能下单,并将订单信息保存到了数据库里,针对商品超卖问题,作此篇以解决。 随着互联网商业的飞速发展,商品超卖问题逐渐凸显为电商平台面临的一大挑战。尤其是在大型促销活动期

    2024年02月04日
    浏览(40)
  • 深入理解并发和并行

    为什么操作系统上可以同时运行多个程序而用户感觉不出来? 因为操作系统营造出了可以同时运行多个程序的假象,通过调度进程以及快速切换CPU上下文,每个进程执行一会就停下来,切换到下个被调度到的进程上,这种切换速度非常快,人无法感知到,从而产生了多个任务

    2024年04月13日
    浏览(40)
  • 并发编程之深入理解AQS

    目录 什么是AQS? AQS的特性 AQS总结 什么是AQS?        java.util.concurrent包中的大多数同步器实现都是围绕着共同的基础行为,比如等待队列、条件队列、独占获取、共享获取等,而这些行为的抽象就是基于AbstractQueuedSynchronizer(简称AQS)实现的,AQS是一个抽象同步框架,可以

    2024年01月23日
    浏览(45)
  • 【并发编程】深入理解Java并发之synchronized实现原理

    分析: 通过 new MyThread() 创建了一个对象 myThread ,这时候堆中就存在了共享资源 myThread ,然后对 myThread 对象创建两个线程,那么thread1线程和thread2线程就会共享 myThread 。 thread1.start() 和 thead2.start() 开启了两个线程,CPU会随机调度这两个线程。假如 thread1 先获得 synchronized 锁,

    2024年02月04日
    浏览(60)
  • 深入理解并发编程艺术之内存模型

    随着硬件技术的飞速发展,多核处理器已经成为计算设备的标配,这使得开发人员需要掌握并发编程的知识和技巧,以充分发挥多核处理器的潜力。然而并发编程并非易事,它涉及到许多复杂的概念和原理。为了更好地理解并发编程的内在机制,需要深入研究内存模型及其在

    2024年02月14日
    浏览(48)
  • 深入理解高并发编程 - 线程的执行顺序

    在Java中,线程的执行顺序是由操作系统的调度机制决定的,具体顺序是不确定的,取决于多个因素,如操作系统的调度策略、线程的优先级、线程的状态转换等。因此,不能对线程的执行顺序做出可靠的假设。 以下是一个简单的Java代码示例,演示了多个线程的执行顺序是不

    2024年02月14日
    浏览(53)
  • 深入理解高并发编程 - 深度解析ScheduledThreadPoolExecutor

    ScheduledThreadPoolExecutor 继承自 ThreadPoolExecutor 并实现了 ScheduledExecutorService 接口,这使得它可以同时充当线程池和定时任务调度器。 构造方法接收一个 corePoolSize 参数,它表示线程池中的核心线程数。核心线程是一直保持存活的线程,即使没有任务执行,以便支持定时任务的调

    2024年02月12日
    浏览(48)
  • JUC并发编程学习笔记(十八)深入理解CAS

    什么是CAS 为什么要学CAS:大厂你必须深入研究底层!有所突破! java层面的cas-------compareAndSet compareAndSet(int expectedValue, int newValue) 期望并更新,达到期望值就更新、否则就不更新! Unsafe类 java不能直接操作内存,但是可以调用c++,c++可以操作内存,java可以通过native定义

    2024年02月05日
    浏览(60)
  • 深入理解高并发编程 - 深度解析Thread 类的源码

    先看源码:Thread 类实现了 Runnable 接口 而 Runnable 被@FunctionalInterface 注解标记为函数式接口,Runnable 接口源代码 再来看看@FunctionalInterface 注解的源码 FunctionalInterface 用于标记类或接口是否是一个函数式接口,并在运行时可用于反射获取信息。 这段代码是 Thread 类的一个静态初

    2024年02月09日
    浏览(49)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包