selenium遇到高德地图反爬(网络拥堵,请稍后重试)

这篇具有很好参考价值的文章主要介绍了selenium遇到高德地图反爬(网络拥堵,请稍后重试)。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

1.导入所需要的请求头参数

这里为了避免被封IP,我使用了IP代理。

        # 配置代理
        self.proxy_ip = ""
        self.proxy_port = ""

        opt = ChromeOptions()
        opt.add_argument("--disable-blink-features=AutomationControlled")
        opt.add_argument('--disable-web-security')

        # opt.add_experimental_option("debuggerAddress", "127.0.0.1:9222")
        opt.add_argument(f'--proxy-server={self.proxy_ip}:{self.proxy_port}')

        opt.add_argument(
            f'user-agent=Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/116.0.0.0 Safari/537.36 Edg/116.0.1938.62')  # 添加请求头
        url = 'https://ditu.amap.com/'

        self.browser = webdriver.Chrome(r'D:\ChromeAndDriver\环境\chromedriver.exe', options=opt)
        script = 'Object.defineProperty(navigator, "webdriver", {get: () => false,});'
        self.browser.execute_script(script)

        self.browser.get(url)
        print('开始cookie:', self.browser.get_cookies())

2.通过selenium自带的函数来获取页面的cookie信息,每点击一次会生成新的cookie,我再把新的cookie加入到当前页面中。

    def get_cookie(self):
        """获取cookie"""
        tfstk = {"name": 'tfstk', 'value': self.browser.get_cookie('tfstk')['value']}
        isg = {"name": 'isg', 'value': self.browser.get_cookie('isg')['value']}
        l = {"name": 'l', 'value': self.browser.get_cookie('l')['value']}
        self.browser.add_cookie(tfstk)
        self.browser.add_cookie(isg)
        self.browser.add_cookie(l)
        print('执行后cookie', self.browser.get_cookies())

3.通过这样就可以实现通过搜索位置名来获取地理位置信息,或者是商铺信息了。

需要源码私聊我~~~

 Q群交流:450297392文章来源地址https://www.toymoban.com/news/detail-716937.html

到了这里,关于selenium遇到高德地图反爬(网络拥堵,请稍后重试)的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • (已解决)关键词爬取百度搜索结果,返回百度安全验证,网络不给力,请稍后重试,无法请求到正确数据的问题(2023最新)

    已解决,使用进行百度搜索,然后爬取搜索结果,请求数据后,返回的是百度安全验证,网络不给力,请稍后重试。无法请求到正确数据。且尝试在header中增加Accept参数还是不行。      在学习过程中,写了一小段练习用的爬取程序,获取百度搜索后的结果,代

    2024年02月17日
    浏览(30)
  • copilot 很抱歉,目前无法连接到服务。请稍后重试或刷新

    微软copilot 在gpt-3基础上又加了很多新功能,输入进行了扩展,包含了语音、图片输入等,输出也更加丰富,包含了信息源、超链接、提取等。最重要的是可以获得最新的消息。这个工具是学习路上的一大利器,可以极大提高检索信息效率。 copilot优势 文本搜索 图片搜

    2024年02月20日
    浏览(79)
  • copilot提示:很抱歉,目前无法连接到服务。请稍后重试或刷新 的解决方案

    此前能正常使用Copilot的,后来出现如下情况,提示“很抱歉,目前无法连接到服务。请稍后重试或刷新”,刷新无效,...里的设置也打不开。 检查了windows设置的“语言和区域”选项,确认国家和地区是“美国”,vpn地址也是非大陆地区,但就是连不上。 后面思考了下,co

    2024年02月05日
    浏览(40)
  • 微软商店“提示无法加载页面。请稍后重试“--错误代码0x80131500的解决方法合集(总有一条适合你)

    微软商店错误代码0x80131500解决思路: 方法一: 可能是由于http协议设置的问题导致的。您可以尝试以下方法来解决这个问题: 1. 用\\\"win + R\\\"打开运行,输入 inetcpl.cpl 打开Internet属性(或从IE浏览器设置打开)。 2. 点击高级选项,找到并勾选 TLS 1.2,取消勾选 TLS 1.0。 3. 点击确定,

    2024年02月06日
    浏览(32)
  • 高德地图 其他地图坐标系转化为高德坐标系

    此篇以百度地图为例  1、去高德地图注册自己的key(注册流程可借鉴百度地图注册流程) 2、什么是坐标 地球坐标系——WGS84:常见于 GPS 设备,Google 地图等国际标准的坐标体系。 火星坐标系——GCJ-02:中国国内使用的被强制加密后的坐标体系,高德坐标就属于该种坐标体系

    2024年02月08日
    浏览(32)
  • 高德地图系列(三):vue项目利用高德地图实现地址搜索功能

    目录 第一章 效果图 第二章 源代码 高德地图为我们提供了搜索联想,以及搜索结果标记,该案例已将基础功能打通,后续我们肯定还会对功能有所修改,想实现自己想要的效果,基本上看高德地图文档对着改就好了(跟我们用别的工具一样做即可)  代码描述如下:  注意事

    2024年02月03日
    浏览(39)
  • selenium反爬

    使用selenium也会被网站反爬,有的网站甚至检测到是selenium时就会封禁ip,所以今天分享一下selenium的反爬。大多数网站识别selenium的方法是通过window.navigator.webdriver,它的作用是在用户打开浏览器时给当前窗口一个window属性来存放用户的各种信息,当我们使用selenium时值为true,正

    2024年02月12日
    浏览(43)
  • 爬虫入门基础-Selenium反爬

    在网络时代,爬虫作为一种强大的数据采集工具,被广泛应用于各行各业。然而,许多网站为了防止被恶意爬取数据,采取了各种反爬虫机制。为了能够成功地绕过这些机制,Selenium成为了爬虫领域的一把利器。本文将为你介绍爬虫入门基础,并重点探讨如何使用Selenium应对反

    2024年02月08日
    浏览(33)
  • selenium反爬driver配置(通用)

    玩爬虫的时候,遇到了很多不能爬取的问题,网页为空、返回码出错(400、412)、图片不展示但源码中存在图片链接等,问题通常都是服务器检测到浏览器是自动化爬取。 文章记录一下通用解决办法 一本万利的方法(不用手动配置这么多参数): undetected_chromedriver包内部加

    2024年02月14日
    浏览(28)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包