【故障补牢】贪吃的 Bing 爬虫，限量供应的应对措施-Toy模板网

这篇具有很好参考价值的文章主要介绍了【故障补牢】贪吃的 Bing 爬虫，限量供应的应对措施。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

相对于【故障公告】，【故障补牢】分享的是园子在发生故障后采取的亡羊补牢措施。

在上次被微软 Bing 爬宕机后（详见【故障公告】被放出的 Bing 爬虫，又被爬宕机的园子)，我们采取了2个应对措施，然后解除了对 Bing 爬虫的屏蔽。

措施1：限流——采用滑动窗口进行限流

我们之前采用的限流措施没有采用滑动窗口，只能防君子不能防小人，比如限制同一个IP一天只能请求2万次，但如果遇到大胃口的爬虫，1秒请求2万次，虽然没有超过限制，但服务器已趴下。

我们通过 ASP.NET Core 内置的 rate limiting middleware 进行滑动窗口限流，参考博文 ASP.NET Core rate limiting middleware in .NET 7

services.AddRateLimiter(
    _ =>
    {
        _.GlobalLimiter = PartitionedRateLimiter.CreateChained(
            PartitionedRateLimiter.Create<HttpContext, string>(
                _ => RateLimitPartition.GetSlidingWindowLimiter(
                    "total",
                    _ => new SlidingWindowRateLimiterOptions()
                    {
                        AutoReplenishment = true,
                        PermitLimit = limitOptions.TotalPermitLimit,
                        QueueLimit = 0,
                        Window = TimeSpan.FromSeconds(limitOptions.WindowSize),
                        SegmentsPerWindow = limitOptions.WindowSize,
                        QueueProcessingOrder = QueueProcessingOrder.OldestFirst
                    })),
            PartitionedRateLimiter.Create<HttpContext, string>(
                context => RateLimitPartition.GetFixedWindowLimiter(
                    partitionKey: context.GetUserIp() ?? "unspecified",
                    factory: _ => new FixedWindowRateLimiterOptions
                    {
                        AutoReplenishment = true,
                        PermitLimit = limitOptions.PermitLimit,
                        QueueLimit = limitOptions.QueueLimit,
                        Window = TimeSpan.FromSeconds(limitOptions.WindowSize),
                        QueueProcessingOrder = QueueProcessingOrder.OldestFirst
                    })));
        _.OnRejected = (context, _) =>
        {
            context.HttpContext.Response.StatusCode = StatusCodes.Status429TooManyRequests;
            return default;
        };
    });

措施2：隔离——专用 pod 限制计算资源、专用负载均衡限制带宽

借助 k8s 的资源隔离能力，部署专用的 pod 给 Bing 爬虫使用，最多把 pod 爬挂，不会造成服务器宕机，对其他应用 pod 毫无影响。

部署专门的负载均衡给 Bing 爬虫通行，这样可以避免因爬虫抢占带宽而造成其他正常请求无法正常响应，而且可以通过限制带宽控制爬虫的并发请求量以及带宽成本。文章来源地址https://www.toymoban.com/news/detail-437110.html

到了这里，关于【故障补牢】贪吃的 Bing 爬虫，限量供应的应对措施的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！