前言
本文是该专栏的第45篇,后面会持续分享python爬虫干货知识,记得关注。
在面对海量数据的采集需求时,使用分布式爬虫是非常有必要的。继上一篇,详细介绍主从分布式爬虫架构,对主从分布式相关知识感兴趣的同学,可往前翻阅。而本文,笔者再单独来详细介绍分布式爬虫架构的另一个——对等分布式。
对等分布式是指分布式系统中的所有工作节点之间没有主从之分,虽然它们在相同的环境下具有相同的功能,但是既没有控制中心主节点,也没有被调度的子节点,组成分布式系统的所有节点都是对等的。
下面跟着笔者直接往下探索,对等分布式爬虫架构的详细知识点,以及主从分布式和对等分布式两者之间的优缺点。
正文文章来源:https://www.toymoban.com/news/detail-424360.html
对等分布式,在爬虫架构中的具体体现是每个对等节点根据特定规则主动从共享任务队列中,取出自己负责管理的采集任务,然后开始负责各自的采集任务,每个对等节点之间互不干扰,如下图所示:文章来源地址https://www.toymoban.com/news/detail-424360.html
到了这里,关于分布式爬虫架构-对等分布式(2)的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!