解决爬虫在重定向(Redirect)情况下,URL没有变化的方法

这篇具有很好参考价值的文章主要介绍了解决爬虫在重定向(Redirect)情况下,URL没有变化的方法。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

    重定向是一种网络服务,它可以实现从一个网页跳转到另一个网页的功能。它把用户请求的网页重定向到一个新的位置,而这个位置可以是更新的网页,或最初请求的网页的不同版本。另外,它还可以用来改变用户流量,当用户请求某个网页后,它会将用户请求重定向到一个截然不同的页面,从而达到在流量分发上更有效率的目的。


    重定向(Redirect)就是通过各种方法将各种网络请求重新定个方向转到其它位置(如:网页重定向、域名的重定向、路由选择的变化也是对数据报文经由路径的一种重定向)。


    打开 https://yanglee.com/information/ 主页 - 资讯这一版,可见 第1页,url 就是这一链接。



解决爬虫在重定向(Redirect)情况下,URL没有变化的方法,爬虫,html,前端,python,scrapy



    当点击第2页后,url 还是那个



解决爬虫在重定向(Redirect)情况下,URL没有变化的方法,爬虫,html,前端,python,scrapy



    打开 “Network”,可见这 url 是动态加载的,请求方式是 "POST“

解决爬虫在重定向(Redirect)情况下,URL没有变化的方法,爬虫,html,前端,python,scrapy



    打开 “Form Data” 可以看到,当我们点击时,其实就是通过 这4个参数去发起请求的。其中可见 pageIndex 就是页码。



解决爬虫在重定向(Redirect)情况下,URL没有变化的方法,爬虫,html,前端,python,scrapy



    再点击 第2页后,看看 “Form Data” 的数据参数,pageIndex 变成 2 了



解决爬虫在重定向(Redirect)情况下,URL没有变化的方法,爬虫,html,前端,python,scrapy



    那么通过这样观察,就可以知道每一分页实际的链接。那么链接是什么? 回到 Header 请求头这一版,可以看到 Request URL 是 https://yanglee.com/Action/GetInformationList.ashx,这个也就是 接口。



解决爬虫在重定向(Redirect)情况下,URL没有变化的方法,爬虫,html,前端,python,scrapy



    回到 “Form Data”, 刚才看到有4个参数组成,那么完整的请求 url 就是 接口地址?xxx=xxx&xxx=xxx 这样的表达方式。



    ?后面连接的就是那4个参数,表达形式 xxx=xxx 就是以键值对(key-value) 来表达的,每个key-value之间用 & 符号连接。



解决爬虫在重定向(Redirect)情况下,URL没有变化的方法,爬虫,html,前端,python,scrapy



    从参数的表达形式可见为 xxx:xxx,如果参数少,我们可以直接手动更改,或者直接最快捷的方法,点击 “view source”



解决爬虫在重定向(Redirect)情况下,URL没有变化的方法,爬虫,html,前端,python,scrapy



    点击后,会自动生成 xxx=xxx&xxx=xxx 这样的 key-value 表达方式。



解决爬虫在重定向(Redirect)情况下,URL没有变化的方法,爬虫,html,前端,python,scrapy



    因此第2页实际完整的链接为:https://yanglee.com/Action/GetInformationList.ashx?pageIndex=2&pageSize=15&i=0&OrderBy=C_ADDTIME+DESC



    最后成功解析出第2页的 page source



解决爬虫在重定向(Redirect)情况下,URL没有变化的方法,爬虫,html,前端,python,scrapy文章来源地址https://www.toymoban.com/news/detail-744571.html

到了这里,关于解决爬虫在重定向(Redirect)情况下,URL没有变化的方法的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 爬虫爬取数据遇到302,301重定向如何获取重定向后的地址(完美解决)

    只需要将请求头修改成如下,可以根据需要进行更改 然后就可以获取目标重定向后的地址 完整java语言get请求获取重定向地址方法

    2024年01月22日
    浏览(42)
  • 织梦DEDE后台更新了广告而前台没有变化的解决办法

    很多朋友在后台修改了广告代码之后,而前台的广告并没有发生变化,这个原因就是缓存问题了. 适合新手的解决方法: 如果你修改了广告代码之后,然后我们找到右侧的管理,管理下面有3个选项,[JS] [更改] [删除] ,这3个,这时我们只需要点下JS,这里就是预览这个JS广告

    2024年02月02日
    浏览(46)
  • 钉钉提示 redirect_url的域名不在appid的安全域名内

    1、需要在《钉钉开放平台》- 开发者后台设置《钉钉扫码登陆功能》 2、如果钉钉界面没有钉钉扫码登陆功能-》点击浏览器右下角-》《返回旧版》 3、备注:当前访问的IP地址跟钉钉扫码登陆功能填写的IP地址需保持一致。如果当前访问IP地址是http://192.168.1.108/,那钉钉开发者后

    2024年01月21日
    浏览(75)
  • 解决QT中UI控件布局更改后运行结果没有发生变化的问题

    在学习QT中,遇到了一个问题,那就是当我UI中更改了控件布局后,运行的结果却并没有发生改变,于是我上网查找了一些资料,大多略显麻烦。 效果如下:这是UI控件更改布局后  这是运行后结果 显然,UI文件中并没有更新。 我的解决方案是: 1.首先在项目文件中找到UI文件

    2024年02月11日
    浏览(82)
  • Unity改变物体的Transform.position无效没有变化(CharacterController)的解决办法

            用脚本改变一个物体的transform.position,但是物体在场景中的位置并没有变化。(被改动的物体有CharacterController插件)         猜测是CharacterController的问题,但是具体原因还没有去深究。。。         我发现这样改position可以行得通: 就是先禁用那个组件改了位置再

    2024年02月11日
    浏览(48)
  • 解决log4j.xml的url没有注册问题

    在对log4j.xml配置文件配置时出现http//jakarta.apache.org/log4j/爆红,IDEA提示uri is not registered。源代码如下 url报错的原因是原官网的URL地址进行了更换,所以需将配置地址进行相应修改(只修改URL也是会报错的,需要将上方所述代码全部替换成下方代码) 完美解决log4j.xml的问题:

    2024年02月14日
    浏览(40)
  • 微信支付-redirect uri域名与后配置不一致10003【域名配置一致情况下问题排查】

    微信支付-redirect uri域名与后配置不一致10003【域名配置一致情况下问题排查】, 网上有很多类似的博客,常见错误我总结一下,顺便加上我自己碰到的情况 PS:如果前面公众号域名配置无误,直接拉到最后看 1.网页授权域名没添加,在支付配置的公众号里面,登录微信公众平

    2024年02月07日
    浏览(45)
  • 没有禁用硬件图形加速的情况下解决visio卡死的问题

    这两天在使用visio的时候,总是会发生死机问题。出现问题的特点如下: 在使用鼠标滚轮进行缩放时,一定会发生卡死 打开任务管理器,发现CPU和内存占用率全满 电脑的其他界面无法操作,前台应用全部卡死 主要的解决办法是关闭visio的硬件图形加速功能,其位置在: vis

    2024年02月06日
    浏览(92)
  • Vue数据更新页面却没有更新的几种情况以及解决方法

    原因:由于 Vue 会在初始化实例时对 data中的数据执行 getter/setter 转化,所以 变量必须在 data 对象上存在才能让 Vue 将它转换为响应式的。 例如:  1 2 3 4 5 new Vue({    data:{},    template: \\\'div{{message}}/div\\\' }) this .message = \\\'Hello world!\\\' // `message` 不是响应式的页面不会发生变化 解决方

    2024年02月03日
    浏览(59)
  • url重定向

    目录 不安全的url跳转 url跳转比较直接的危害是: 修复网站url重定向: 127.0.0.1绕过: 不安全的url跳转问题可能发生在一切执行了url地址跳转的地方。 如果后端采用了前端传进来的(可能是用户传参,或者之前预埋在前端页面的url地址)参数作为了跳转的目的地,而又没有做判断的

    2024年02月14日
    浏览(32)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包