Msray,是一款使用GO语言研发的企业级新一代多功能信息采集软件。具有高效率、低占用、功能强大、定制灵活、上手简单、支持webhook等特点。
主要运用于全网域名/URL网址/IP信息检索、联系方式信息采集、指定关键词批量数据采集、网络推广与分析、内容源收集,以及为各种大数据分析等提供数据支撑。
提供WEB管理后台对软件进行相关操作,无需使用复杂的命令,功能强大且简单易上手!
在线文档:http://www.msray.net/doc
二、任务引擎功能介绍
1:搜索引擎任务
基于任务配置,并发用多个搜索引擎(可分别自定义每个引擎的线程数,已经自定义开启的引擎),批量采集指定关键词的搜索结果。同时支持国内与国外主流引擎,包括但不限于百度、必应、谷歌、神马、yandex、duckduckgo等;
支持存储的信息:域名、根网址、详细页面的URL、标题、描述、IP、服务器所属国家、来源搜索引擎、来源关键词等;
同时支持自定义无限采集(自动从搜索引擎抓取相关搜索词、自动从采集结果网页中抓取keyword等实现);
支持重复关键词采集判断,系统可识别已经采集过的关键词。文章来源:https://www.toymoban.com/news/detail-473997.html
2:系统爬虫引擎任务
可自定义线程,高并发的从全网爬行抓取URL/域名等信息。支持存储的信息:域名、根网址、详细页面的URL、标题、描述、IP、服务器所属国家等;文章来源地址https://www.toymoban.com/news/detail-473997.html
3: 联系信息抓取
到了这里,关于一款超好用的企业级URL采集软件(Msray-plus)的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!