【故障公告】被放出的 Bing 爬虫,又被爬宕机的园子

这篇具有很好参考价值的文章主要介绍了【故障公告】被放出的 Bing 爬虫,又被爬宕机的园子。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

这些巨头爬虫们现在怎么了?记忆中2022年之前的十几年,园子没有遇到过被巨头爬虫们爬宕机的情况,巨头们都懂得爱护,都懂得控制节奏,都懂得在爬网时控制并发连接数以免给目标网站造成过大压力。

从去年开始,巨头爬虫们开始变了。首先从中文巨头爬虫中的佼佼者——百度蜘蛛开始,变得只追求自己“飞流直下三千尺,疑是银河落九天”的畅快,而不顾是否给目标网站带来“狂风暴雨后的一片狼藉”。在2022年4月3日与5月4日百度蜘蛛的两次疯狂袭击之后,园子勇敢地说出了“不”——屏蔽了肆无忌惮的百度蜘蛛IP网段,而勇敢的代价是“不让疯爬,就给重罚”——园子被百度全面降权。

今年,被百度重罚后园子的唯一依靠——微软 Bing 的爬虫又开始了,3月29日在园子里上演了下班前的一场暴风雨,爬虫爬至园宕机,无奈之下屏蔽了 Bing 爬虫疯狂爬取的两个网段。

去年屏蔽后,我们还能庆幸地感叹——至少还有你,Bing;今年屏蔽后,我们只剩忐忑不安——如果再被重罚,将是灾难。近一个月的忐忑不安,试着放虎归山,结果又让园子人仰马翻。

前天,我们试着放出了被屏蔽的 Bing 爬虫,结果昨天 18:15~18:40 左右,放出的 Bing 爬虫又爬至园宕机,只能再次屏蔽,再次陷入随时被重罚的危险境地。

抱歉,昨天下班时间出现的故障给大家带来了麻烦,请大家谅解。

在巨头爬虫们变得格外强大变得巨能爬的挑战面前,园子别无选择,唯有让自己变得更强大。

【更新】

从 bing webmaster tools 看,昨天被屏蔽之前,bing 爬虫爬网 500 多万次。文章来源地址https://www.toymoban.com/news/detail-425693.html

到了这里,关于【故障公告】被放出的 Bing 爬虫,又被爬宕机的园子的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 爬虫逆向实战(二十五)--某矿采购公告

    主页地址:某矿 1、抓包 通过抓包可以发现数据接口是cgxj/by-lx-page 2、判断是否有加密参数 请求参数是否加密? 通过查看“载荷”模块可以发现有一个 param 的加密参数 请求头是否加密? 无 响应是否加密? 无 cookie是否加密? 无 1、看启动器 查看启动器发现里面有一个inde

    2024年02月11日
    浏览(37)
  • 微软Bing Chat逆向爬虫实战

    最近AIGC太火了,以OpenAI为首的一批人工智能公司一次又一次的引爆科技圈的浪潮,从ChatGPT到Sora,OpenAI在一年多时间里连续发布两个重磅产品,彻底拉开了AI时代的帷幕。而作为科技巨头微软也是OpenAi的大股东,OpenAi只要出了新模型,那么微软的Bing都是第一时间集成上去,基

    2024年04月09日
    浏览(50)
  • 淦、我的服务器又被攻击了

    「作者简介」: CSDN top100、阿里云博客专家、华为云享专家、网络安全领域优质创作者 「推荐专栏」: 对网络安全感兴趣的小伙伴可以关注专栏《网络安全入门到精通》

    2024年02月08日
    浏览(55)
  • 马斯克在中国的44小时!行程、会面与表态,释放出什么信号?

       时隔3年,“自带流量”的美国特斯拉首席执行官马斯克再次到访中国,从公布的信息来看,可谓是行程满满。在中美关系似乎春寒料峭之际,马斯克的来华及表态极具象征意义。 马斯克:反对“脱钩断链”      5月30日下午15时30分左右,“马斯克私人飞机(注册号:

    2024年02月07日
    浏览(50)
  • 【C语言初阶】指针数组or数组指针!又被这些命名搞蒙了?

    🎬 鸽芷咕 : 个人主页  🔥 个人专栏 : 《C语言进阶篇》 《C语言初阶篇》 ⛺️生活的理想,就是为了理想的生活!    🌈 hello! 各位宝子们大家好啊,前面我们已经把指针大部分内容给学完了,今天就给大家带来数组指针or指针数组!    ⛳️ 很多说这俩名字不是差不

    2024年02月16日
    浏览(37)
  • 我决定把一个收费视频课全免费公开了,今天起,慢慢放出“人人都需要的产品思维课”...

    人人都需要的产品思维课 Version 2017 为什么这会儿公开,单纯因为版权到期了,可以公开了。咱也不靠这个挣钱,干脆免费给需要的人吧。 这套课是2017年和馒头商学院合作录制的,所以内容主要基于2006~2014我在阿里做产品/管产品大学,以及2014~2017创业/孵化的经历所成。 曾经

    2023年04月08日
    浏览(44)
  • 服务器宕机怎么办?怎么预防宕机?

           相信不少用户会听到或者在文章中提到电脑宕机或者服务器宕机,不少用户对宕机的意思不太理解。那么服务器宕机是什么意思?        宕机属于计算机的术语,指电脑或者服务器不能正常工作。口语中我们简单的把停掉机器叫做down机,转换为汉字是“宕机”,不

    2024年01月23日
    浏览(57)
  • 微软官宣放出一个「小模型」,仅2.7B参数,击败Llama2和Gemini Nano 2

    就在前一阵谷歌深夜炸弹直接对标 GPT-4 放出 Gemini 之后,微软这两天也紧锣密鼓进行了一系列动作。 尽管时间日趋圣诞假期,但是两家巨头硬碰硬的军备竞赛丝毫没有停止的意思 。 就在昨日, 微软官宣放出一个“小模型” Phi-2,这个 Phi-2 仅有 27 亿的参数(注意不是 27 B)

    2024年02月04日
    浏览(31)
  • 我3年前写的博客,又被别人抄去发论文了,该论文整个正文部分几乎直接照抄我的博客

       我想说每一篇原创博客都是作者的心血,有时候写一篇博客也许会花一天,甚至好几天的时间,尊重原创,营造好的环境,才有可能出现更多优质的博文,而不是到处都是抄来抄去的低质量水文。    前几天接到来自粉丝的私信,说看到一篇论文与我之前发过的博客很

    2024年02月06日
    浏览(40)
  • 佛祖保佑,永不宕机,永无bug

    当我们的程序编译通过,能预防的bug也都预防了,其它的就只能交给天意了。当然请求佛祖的保佑也是必不可少的。 下面是一些常用的保佑图: 佛祖保佑图 神兽保佑图 将这些文件写入到.txt文件中,命名随意。将文件放入项目的resources下,和application.properties同级目录。 之后

    2024年02月13日
    浏览(36)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包