分布式限流方案及实现-Toy模板网

这篇具有很好参考价值的文章主要介绍了分布式限流方案及实现。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

优质博文：IT-BLOG-CN

一、限流的作用和意义

限流是对高并发访问进行限制，限速的过程。通过限流来限制资源，可以提高系统的稳定性和可靠性，控制系统的负载，削峰填谷，保证服务质量。

服务限流后的常见处理方式：
【1】拒绝服务；
【2】排队或等待；
【3】服务降级（当服务器压力剧增的情况下，根据当前业务情况及流量对一些非核心服务和页面有策略的降级，以此释放服务器资源以保证核心任务的正常运行）；

二、限流的主要方式

限流可以分为两大类：
【1】单机限流：计数器、互动窗口、漏桶算法、令牌桶算法；

计数器： 取固定大小的时间窗口，并在每个窗口时间内限制请求数量。只需要记录一个计数器，并在每个时间窗口结束时将其重置为零。每当请求进入系统时，我们都会将计数器加一，并检查它是否超过了限制的阈值。这种方式的缺点是：窗口是固定的，在两个窗口边界会有流量超限问题。
分布式限流方案及实现,分布式服务框架,分布式

滑动窗口： 滑动窗口的基本思想是在固定窗口基础之上，将一个窗口分为若干个等分的小窗口，每个小窗口对应不同的时间点，拥有独立的计数器。当请求的时间点大于当前窗口的最大时间点时，则将窗口向前平移一个小窗口。如果请求数量超过了小窗口的限制的阈值，则决绝该请求。时间区间精度越高，所需空间容量越大。每一次小窗口就判断是否超过1分钟的阈值，取当前小窗口的前后五分钟的请求量，例如下图虚线框部分。提高了限流的频率和准确性。
分布式限流方案及实现,分布式服务框架,分布式

漏桶算法：可粗略的认为就是注水漏水的过程，往桶中以任意流速流入水，以一定速率流出水，当水超过桶容量则触发限流，因为出水速率是不变的，所以保证了资源的请求速率。漏桶算法是一个强制限制请求速率的方式，有两个缺点：
● a)无法应对正常的突发流量：实际上突发一波请求流量是正常现象。漏桶算法中的漏桶容易被突发流量打满，导致后续的正常请求被限流。
● b)无法有效利用资源：严格限制请求量，无法充分利用资源。
分布式限流方案及实现,分布式服务框架,分布式

令牌桶算法： 令牌桶算法是对漏桶算法的改进，能在限制调用的平均速率的同时还允许一定程度的突发调用。
限流过程：
● a)系统以恒定的速率产生令牌，然后将令牌放入令牌桶中；
● b)令牌桶有容量限制；
● c)每次请求需要从令牌桶中获取令牌，有令牌则提供法务，无令牌则拒绝服务；
分布式限流方案及实现,分布式服务框架,分布式

令牌桶算法一定程度上可以防止突发流量，以每分钟100请求量为例，如果前一分钟使用了90个令牌，则当前就可以使用110个令牌容量，来处理突发请求。作为漏桶算法的改进，令牌桶算法在限流场景下被广泛使用。
Guava为我们提供了很好的基于令牌桶算法的流控工具RateLimiter，可以支持突发流量也可以支持预热等多种功能，简单好用。

【2】分布式限流：Redis令牌桶、发票服务器Sentinel；

三、单机限流 VS 分布式限流

【1】单机限流在单机上运行性能好，状态稳定。但如果分布式系统使用单纯的单机限流，开启HPA后流量会处于半失控状态，如果扩容整个集群限流就会变大，缩容整个集群限流就会变小。
【2】已有的分布式限流方案需要每次/每批请求都需要请求“阈值管理者”单点，增加了服务端的网络开销和不稳定因素，“阈值管理者”的稳定性也是影响结果的一个重要因素。
【3】如果能结合单机限流和分布式限流的优点，就是我们这次需要的分布式限流框架。

四、聚合查询限流场景

场景： 请求量大且调用方多：10000+渠道，平均QPS5000+

为什么需要限流：
【1】请求流量不稳定：存在突发流量（爬虫、活动）；
【2】资源有限：部分底层资源不能抗衡突发流量（第三方接口），部分资源收费；
【3】业务要求：业务合同原因（甲方产品有限），需要限制调用方请求数；

为什么不能使用公司接口框架自带的限流功能： 因为相同调用方拥有多个销售渠道，存在不同销售渠道流量限制不同的场景，框架自带服务ID和操作OP的限流维度不能满足需求。

核心主流程： 需要保证响应速度和稳定性。

限流配置经常调整。

聚合层限流服务

限流功能主要基于RateLimiter高效可靠。由限流服务端更新推送限流资源配置，监听客户端状态。这种方案结合了单机限流和分布式限流的优点。

以下面场景说明限流服务工作过程：
【1】限流Clinet初始化： 引入限流Client的应用启动时，限流Client将初始化Client自动从限流服务端获取全量的单机限流参数，根据不同资源名初始化不同的RateLimiter并存入缓存；
分布式限流方案及实现,分布式服务框架,分布式