feapder 的使用
feapder是一款上手简单,功能强大的Python爬虫框架
feapder 官方文档
文档写的很详细,可以直接上手。
基本命令:
- 创建爬虫项目
feapder create -p first-project
- 创建爬虫
feapder create -s <spider_name> <spider_type>
- 创建 item
feapder create -i <item_name>
feaplat 爬虫管理系统
特性
:
- 支持任何python脚本,包括不限于feapder、scrapy
- 支持浏览器渲染,支持有头模式。浏览器支持playwright、selenium 支持部署服务,可自动负载均衡 支持服务器集群管理
- 支持监控,监控内容可自定义 支持起多个实例,如分布式爬虫场景 支持弹性伸缩 支持4种定时启动方式
- 支持自定义worker镜像,如自定义java的运行环境、机器学习环境等,即根据自己的需求自定义(feaplat分为master-调度端和worker-运行任务端)
- docker一键部署,架设在docker swarm集群上
部署
详细文档地址,跟着文档一步一步走,就没什么大问题的。文章来源:https://www.toymoban.com/news/detail-660681.html
感觉还是很好用的 ~~文章来源地址https://www.toymoban.com/news/detail-660681.html
到了这里,关于爬虫框架- feapder + 爬虫管理系统 - feaplat 的学习简记的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!