【python】网络爬虫与信息提取--requests库

这篇具有很好参考价值的文章主要介绍了【python】网络爬虫与信息提取--requests库。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

导学   

         当一个软件想获得数据,那么我们只有把网站当成api就可以

        requests库:自动爬取HTML页面,自动网络请求提交

        robots协议:网络爬虫排除标准(网络爬虫的规则)

        beautiful soup库:解析HTML页面

工具:

        IDLE:适用于python入门,功能简单直接,300+行代码以内

        Sublime Text编译器:专门为程序员开发的第三方专用编程工具,专业编程体验

        Wing:公司维护,工具收费;调试功能丰富;版本控制,版本同步;适合多人共同开发

        PTVS:微软公司维护、调试功能丰富

        PyCharm:简单,集成度高,适合较复杂工程

一、requests库

1.安装:

        以管理员身份运行命令提示符,输入 pip install requests 后回车

【python】网络爬虫与信息提取--requests库,python,python,爬虫,开发语言

2.使用:

        启动idle(IDLE是Python自带的IDE;打开IDLE:按Win键,输入“idle”,回车;运行:F5)

【python】网络爬虫与信息提取--requests库,python,python,爬虫,开发语言

        测试一下(以访问百度主页为例子),状态码为200,表示访问成功

【python】网络爬虫与信息提取--requests库,python,python,爬虫,开发语言

3.requests库的7个主要方法

【python】网络爬虫与信息提取--requests库,python,python,爬虫,开发语言

        这7个常用方法,除了第一个requests.request()方法是基础方法外,其他的6个方法都是通过调用requestsequest()方法实现的

4.requests.get(URL)

        完整的使用:requests.get(url,params=None,**kwargs);其中url是拟获取页面的url链接,params指的是url中的额外参数,字典或者字节流格式,可选;kwargs是12个控制访问的参数

        作用:获取一个网页 r=requests.get(url)

        原理:构造一个向服务器请求资源的request对象(这个对象由requests库自动生成),返回的Response对象包含从服务器返回的所有资源.

        

【python】网络爬虫与信息提取--requests库,python,python,爬虫,开发语言
Response对象的主要属性

【python】网络爬虫与信息提取--requests库,python,python,爬虫,开发语言

                 r.encoding的编码方式是从http header中的charset字段获得.如果http header中有这样一个字段,说明我们访问的服务器对它的资源的编码是有要求的,这样的要求会返回回来,存在r.encoding中。但是,不是所有服务器都会对它的资源编码有相关的要求,所以,如果header中不存在charset,则默认编码为ISO-8859-1,但这样的编码并不能解析中文,所以requests库提供了一个备选编码r.apparent_encoding,实际上这个编码做的内容是根据http的内容部分而不是头部分,去分析内容文本中 可能的编码方式。

5.爬取网页的通用代码框架

        代码框架其实就是一组代码,它可以准确可靠的爬取网页内容。

        我们爬取的时候喜欢用requests.get(url)获取url的相关内容,但是这样的语句并不是一定成立的,因为网络连接有风险,所以这样的语句它的异常处理很重要

【python】网络爬虫与信息提取--requests库,python,python,爬虫,开发语言

        补充一个response异常:r.raise_for_status()--判断返回的response的类型,如果不是200,产生异常requests.HTTPError

【python】网络爬虫与信息提取--requests库,python,python,爬虫,开发语言

【python】网络爬虫与信息提取--requests库,python,python,爬虫,开发语言

6.HTTP协议以及Requests库方法

        HTTP,超文本传输协议。是一个基于“请求与响应”模式的、无状态(第一次请求与第二次请求之间并没有相关的关联)的应用层协议(指的是该协议工作在TCP协议之上)。HTTP协议采用URL作为定位网络资源的标识。

        HTTP URL的理解:URL是通过HTTP协议存取资源的Internet路径,URL对应一个数据资源。

        URL格式:http://host[:port][path]

        host:合法的Internet主机域名或IP地址

        port:端口号,缺省端口为80

        path:请求资源的路径

【python】网络爬虫与信息提取--requests库,python,python,爬虫,开发语言

【python】网络爬虫与信息提取--requests库,python,python,爬虫,开发语言

【python】网络爬虫与信息提取--requests库,python,python,爬虫,开发语言

【python】网络爬虫与信息提取--requests库,python,python,爬虫,开发语言

【python】网络爬虫与信息提取--requests库,python,python,爬虫,开发语言

        head()方法用来展示反馈的头部信息的内容,当我们想试图用r.text展示它的全部内容,会发现内容是空的。作用:可以用很少的网络流量获取网络资源的概要信息。

【python】网络爬虫与信息提取--requests库,python,python,爬虫,开发语言

        post方法可以向服务器提交新数据。这里我们首先建立了一个字典叫payload,它里面包含两个键值对,然后用post方法去提交这样的一个字典,接着看下返回的内容,发现键值对被放在form下,说明当我们post一个字典或者post键值对的时候,那么键值对会默认的被存储在表单的字段下。

【python】网络爬虫与信息提取--requests库,python,python,爬虫,开发语言

        当我们post一个字符串的时候,我们会发现字符串被存到了data相关的字段下。

        post根据我们提交的内容不同,在服务器上会做数据的相关的整理

        【python】网络爬虫与信息提取--requests库,python,python,爬虫,开发语言

        put方法与post方法类似。

7.Requests库主要方法解析

        事实情况是,由于网络安全的限制,我们很难向一个url去发起post,put,patch,delete请求,因此我们在爬虫时,经常使用的是get和head方法。

【python】网络爬虫与信息提取--requests库,python,python,爬虫,开发语言

7.1 request

        完整格式:requests.request(method,url,**kwargs)

        method:请求方,对应get/pu/post等七种

        url:拟获取页面的url链接

        **kwargs:控制访问的参数,共13个

【python】网络爬虫与信息提取--requests库,python,python,爬虫,开发语言

     options其实就是向服务器获取一些服务器跟客户端能够打交道的参数,这里面并不与获取资源直接相关,我们平时使用较少。

【python】网络爬虫与信息提取--requests库,python,python,爬虫,开发语言

        比如params=kv,可以实现一些键值对增加到url中,那么使得url再去访问时,不只访问的是这个资源,而同时代入了一些参数,那服务器就可以接受这些参数,并根据这些参数筛选部分资源。

【python】网络爬虫与信息提取--requests库,python,python,爬虫,开发语言

        data:向服务器提供或提交资源时使用,当构建键值对的时候,把它作为data的一部分去提交。我们所提交的键值对,并不直接放在url链接,而是放在url链接对应位置的地方。

【python】网络爬虫与信息提取--requests库,python,python,爬虫,开发语言

        比如,当我们用构建一个键值对,然后我们可以把它的值给json参数,那么这个键值对就复制到服务器的json域上。

【python】网络爬虫与信息提取--requests库,python,python,爬虫,开发语言

        headers对应了向某一个url访问时,所发起的http的头字段。简单说,我们可以用这个字段来定制访问某一个url的http协议头。我们可以定义一个字典,然后去修改HTTP协议中的user-agent字段,那么在访问一个链接时,我们可以把这样的字段赋给header,此时,header再向服务器访问时,服务器看到的user-agent字段就是修改后的内容。

【python】网络爬虫与信息提取--requests库,python,python,爬虫,开发语言

        cookies:指的是从http协议中解析cookie,那么它可以是字典也可以是cookieJar的形式

        auth字段是一个元组类型,与cookies都是高级功能。

【python】网络爬虫与信息提取--requests库,python,python,爬虫,开发语言

        files:字典类型,它是向服务器传输文件时使用的字段。定义一个字典,以对应的文件为键值对,用open的方式打开这个文件,并把这个文件与file做一个关联,同时对应到相关的url上,这样的方法我们可以向某一个链接提交某一个文件。

【python】网络爬虫与信息提取--requests库,python,python,爬虫,开发语言

         在规定timeout时间内,我们的请求内容没有反馈回来,那么它将产生一个timeout的异常

【python】网络爬虫与信息提取--requests库,python,python,爬虫,开发语言

        proxies:可以为我们爬取网页设定相关的访问代理服务器。在上图中,我们增加了两个代理,一个是http访问时使用的代理,而在这个代理中我们可以增加用户名跟密码的设置,另一个是https的代理服务器,那这样我们在访问百度时,我们所使用的ip地址就是代理服务器的ip地址。使用这个字段可以有效的隐藏用户爬取网页的源ip地址信息,能有效防止对爬虫的逆追踪。

【python】网络爬虫与信息提取--requests库,python,python,爬虫,开发语言

        allow_redirects像是一个开关,表示允不允许对url重定向。stream也是一个开关,指对获取的内容是否进行立即下载,默认是立即下载。cert字段是保持本地ssl证书的字段。

7.2 get

【python】网络爬虫与信息提取--requests库,python,python,爬虫,开发语言

7.3 head

【python】网络爬虫与信息提取--requests库,python,python,爬虫,开发语言

7.4 post

【python】网络爬虫与信息提取--requests库,python,python,爬虫,开发语言

7.5 put

【python】网络爬虫与信息提取--requests库,python,python,爬虫,开发语言

7.6 patch

【python】网络爬虫与信息提取--requests库,python,python,爬虫,开发语言

7.7 delete

【python】网络爬虫与信息提取--requests库,python,python,爬虫,开发语言

二、盗亦有道

        网络爬虫按尺寸可以分为三类:小规模(占了90%以上)使用requests库即可,中规模使用scrapy库,大规模你只能定制开发,第三方无法实现。

【python】网络爬虫与信息提取--requests库,python,python,爬虫,开发语言

        对于服务器来说,它默认是按照人数来约束它的访问能力。但是有爬虫爬取相关的内容,甚至说1秒内可以爬取10万甚至几万的情况下,服务器是很难提供那么高的性能的,因此对于某些爬虫,是受限于爬虫编写者的水平和它的目的,那么这样将会为服务器带来巨大的资源开销,从而对于网站运行着来说,爬虫形成了骚扰。
        爬虫引发的问题:骚扰问题,法律风险,隐私泄露

【python】网络爬虫与信息提取--requests库,python,python,爬虫,开发语言

        反爬之来源审查:简单来说,作为网站的维护者,可以只响应浏览器或者已知的友好爬虫的访问。这个方法需要对维护网站的技术人员的能力有一定要求。

三、Robots协议

        Robots协议:网络爬虫排除标准。

作用:

        网站告知网络爬虫哪些页面可以抓取,哪些不行。

形式/使用:

        在网站根目录下放置一个robots.txt文件,这个文件写明了在一个网站里的哪些目录是允许爬虫去爬取的,哪些目录是不许爬取的。

 语法:

        User-agent:  ,Disallowed:   ,(#注释,*表示所有,/表示根目录)

案例:

        京东的Robots协议 https://www.jd.com/robots.txt

      

【python】网络爬虫与信息提取--requests库,python,python,爬虫,开发语言

        User-agent:*,指的是如果你对于任何的网络爬虫来源,都应该遵守如下的协议。

        Disallow:/?* 表示任何爬虫都不允许访问,/?* 也就是以问好开头的路径

         Disallow:/pop/*.html和 Disallow:/pinpai/*.html表示满足这些个通配符的内容都是不允许访问的。

        此外,京东的Robots协议又提供了User-agent:EtaoSpider等,他们后面还跟着 Disallow:/,表示的是这四个网络爬虫是不允许爬取京东的任何资源。(可以理解为这四个是恶意爬虫,被京东发现后,因此拒绝它们对京东的任何数据访问。

其他练习链接:

        qq.com/robots.txt    QQ

        baidu.com/robots.txt   百度

        news.sina.com.cn/robots.txt   新浪微博

        news.qq.com/robots.txt   QQ邮箱

        需注意,Robots协议一定是放在网站的根目录下。但是对于新浪来说,www.sina.com.cn和news.sina.com.cn是两个不同的根目录,所以我们看两个网站的Robots协议是不一样的。另外,不是所有网站都具有Robots协议比如我们国家的教育网站.Robots协议规定,如果一个网站不提供robots.txt文件,那么这个网站是允许所有爬虫的。

Robots协议遵守方式:

【python】网络爬虫与信息提取--requests库,python,python,爬虫,开发语言

【python】网络爬虫与信息提取--requests库,python,python,爬虫,开发语言

     类人行为可不参照Robots协议: 任何网站提供资源,它都是方便2人类获取相关的信息,如果你的网络爬虫能够和人类获取相关的信息相一致(也就是说每次访问的量很少,访问的量不大,如一天或者一小时才访问一次)

四、实战

  案例1:京东商品页面的爬取

        我们要做的是,提供写程序获得该商品的信息

        1.首先打开京东页面选取一个商品:https://item.jd.com/10086386840914.html

        2.打开idle,get刚刚的链接,查看返回的状态码,200表示链接成功,并且获得了这个链接响应的内容

【python】网络爬虫与信息提取--requests库,python,python,爬虫,开发语言

        3.查看encoding,这说明我们已经能从HTTP的头部分解析出这个页面的编码信息,这说明了京东页面显示了相关的编码 

        【python】网络爬虫与信息提取--requests库,python,python,爬虫,开发语言

        4.查看 内容是否正确。

【python】网络爬虫与信息提取--requests库,python,python,爬虫,开发语言

        5.以下为京东商品页面的全代码。

【python】网络爬虫与信息提取--requests库,python,python,爬虫,开发语言

【python】网络爬虫与信息提取--requests库,python,python,爬虫,开发语言

 案例2:亚马逊商品页面的爬取

        https://www.amazon.cn/gp/product/B01M8L5Z3Y

【python】网络爬虫与信息提取--requests库,python,python,爬虫,开发语言

        发现返回的是503 ,查看编码

【python】网络爬虫与信息提取--requests库,python,python,爬虫,开发语言

        将编码改成可以阅读的相关编码后查看文本

【python】网络爬虫与信息提取--requests库,python,python,爬虫,开发语言

        目前,全部代码如下

【python】网络爬虫与信息提取--requests库,python,python,爬虫,开发语言

        事实上,当我们能从服务器上获得相关信息回来,那么这个错误已经不是网络出现的错误了。网站一般接受的是浏览器的请求,而对爬虫的请求是拒绝的。

        通过r.request.headers查看我们请求的request长什么样。

      【python】网络爬虫与信息提取--requests库,python,python,爬虫,开发语言

        通过上图,可以看见头部中的user-agent 显示的是python-requests/2.31.0,这说明我们的爬虫忠实的告诉了亚马逊的服务器,这次访问是由一个python的requests库的程序产生的,如果亚马逊提供了来源审查(反爬虫手段),它就可以使这样的访问变得错误,或者说它不支持这样的访问。

        接下来尝试一下,模拟浏览器向亚马逊发送请求。

        首先构造一个键值对,这样的一个键值对信息说明的是,我们重新定义了user-agent的内容。Mozilla/5.0(很标准的浏览器身份标识的字段)说明这个时候的user-agent可能是一个浏览器,这个浏览器可能是火狐,可能是Mozilla,甚至可能是IE10的浏览器。

        然后我们找到刚才的url链接,修改headers后再次访问status_code,发现返回的不是503,是200,这是说明我们真真正正的获得了一个产品的页面。

【python】网络爬虫与信息提取--requests库,python,python,爬虫,开发语言

        再次查看user-agent的内容,发现user-agent的内容已经修改。

【python】网络爬虫与信息提取--requests库,python,python,爬虫,开发语言         此时再去访问r.text就是真正的页面内容了

        下面给出访问亚马逊产品的全部代码。在这个代码中与访问京东商品代码不同,我们需要通过headers字段让我们的代码模拟浏览器向亚马逊服务器提供HTTP请求。

【python】网络爬虫与信息提取--requests库,python,python,爬虫,开发语言

案例3:百度360搜索关键词提交

        目的:用程序自动的向百度和360这俩个搜索引擎提交关键词并且获得它的搜索结果。

【python】网络爬虫与信息提取--requests库,python,python,爬虫,开发语言

【python】网络爬虫与信息提取--requests库,python,python,爬虫,开发语言

百度和360的区别主要在键不一样,百度是wd,360是q

【python】网络爬虫与信息提取--requests库,python,python,爬虫,开发语言

 【python】网络爬虫与信息提取--requests库,python,python,爬虫,开发语言

案例4:网络图片的爬取和存储

        (该方式不止针对图片,对二进制的资源格式比如 图片、视频、动画等,都可以用同样的代码获取它。)

【python】网络爬虫与信息提取--requests库,python,python,爬虫,开发语言

练习链接如下:

       http://img0.dili360.com/ga/M02/33/7C/wKgBzFSbqQyAJVAuAARB8cSWH_w695.tub.jpg@!rw14

        设定保存下来的图片名字为abc.jpg,方便我们后期处理

【python】网络爬虫与信息提取--requests库,python,python,爬虫,开发语言

 with open(path,'wb') as f:
            f.write(r.content)

        这串代码表示先打开我们要存储的abc.jpg文件,并且把它定义为一个文件标识符f,然后我们将返回的内容(response返回的格式是二进制)写到这个文件中,即利用f.write(r.content)将返回的二进制形式写到文件中。

        

        f.close()表示关闭这个文件

        接着我们去D盘看一下这个abc.jpg文件

【python】网络爬虫与信息提取--requests库,python,python,爬虫,开发语言

图片爬取全代码:

【python】网络爬虫与信息提取--requests库,python,python,爬虫,开发语言

!案例5:IP地址归属地的自动查询(之前可以成功,现会报错)

        现成的查ip网站 :

        【python】网络爬虫与信息提取--requests库,python,python,爬虫,开发语言

【python】网络爬虫与信息提取--requests库,python,python,爬虫,开发语言

 文章来源地址https://www.toymoban.com/news/detail-830142.html

        我们有的时候在网站看到的人机交互方式,比如说图形与文本框的、需要点击按钮的这种方式,在正式地向后台服务器提交的时候,其实都是以链接的形式提交的,只要我们能够通过浏览器的解析,知道向后台去提交的链接形式,那 就可以用python代码模拟。

 

到了这里,关于【python】网络爬虫与信息提取--requests库的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • Python网络爬虫库:轻松提取网页数据的利器

          网络爬虫是一种自动化程序,它可以通过访问网页并提取所需的数据。Python是一种流行的编程语言,拥有许多强大的网络爬虫库。在本文中,我们将介绍几个常用的Python网络爬虫库以及它们的使用。 Requests库 Requests是一个简单而优雅的HTTP库,可以轻松地发送HTTP请求。

    2024年02月09日
    浏览(46)
  • python爬虫之selenium库,浏览器访问搜索页面并提取信息,及隐藏浏览器运行

    如果链接简单,爬虫可以通过链接用requests库提取页面信息,如爬取豆瓣top250影片信息,链接简单易懂。参考:爬取豆瓣top250影片信息 但如果遇到一些搜索之类的,基于js动态加载的网页,以上就不适合,如爬虫b站,搜索“爬虫”页面,第一页链接如下,第二页又是很长没规

    2024年01月23日
    浏览(99)
  • Python爬虫开发:Scrapy框架与Requests库

    Python爬虫开发中有两个非常流行的工具:Scrapy框架和Requests库。它们各自有自己的优点和适用场景。 Scrapy Scrapy是一个为了爬取网站并提取结构化数据而编写的应用框架,可以非常方便地实现网页信息的抓取。Scrapy提供了多种可配置、可重用的组件,如调度器、下载器、爬虫和

    2024年02月19日
    浏览(49)
  • 【头歌】——数据分析与实践-python-网络爬虫-Scrapy爬虫基础-网页数据解析-requests 爬虫-JSON基础

    第1关 爬取网页的表格信息 第2关 爬取表格中指定单元格的信息 第3关 将单元格的信息保存到列表并排序 第4关 爬取div标签的信息 第5关 爬取单页多个div标签的信息 第6关 爬取多个网页的多个div标签的信息 第1关 Scarpy安装与项目创建 第2关 Scrapy核心原理 第1关 XPath解析网页 第

    2024年01月22日
    浏览(55)
  • 【Python爬虫开发基础⑪】requests库概述(GET和POST请求)

    🚀 个人主页 :为梦而生~ 关注我一起学习吧! 💡 专栏 :python网络爬虫从基础到实战 欢迎订阅!后面的内容会越来越有意思~ 💡 往期推荐 : ⭐️前面比较重要的 基础内容 : 【Python爬虫开发基础⑥】计算机网络基础(Web和HTTP) 【Python爬虫开发基础⑦】urllib库的基本使用

    2024年02月12日
    浏览(42)
  • 【Python爬虫】网络爬虫:信息获取与合规应用

    网络爬虫,又称网络爬虫、网络蜘蛛、网络机器人等,是一种按照一定的规则自动地获取万维网信息的程序或者脚本。它可以根据一定的策略自动地浏览万维网,并将浏览到的有用信息进行提取、解析和存储。网络爬虫在互联网发展早期就已经出现,并随着互联网的不断发展

    2024年04月14日
    浏览(33)
  • 利用Python进行网络爬虫:Beautiful Soup和Requests的应用【第131篇—Beautiful Soup】

    在网络数据变得日益丰富和重要的今天,网络爬虫成为了获取和分析数据的重要工具之一。Python作为一种强大而灵活的编程语言,在网络爬虫领域也拥有广泛的应用。本文将介绍如何使用Python中的两个流行库Beautiful Soup和Requests来创建简单而有效的网络爬虫,以便从网页中提取

    2024年03月17日
    浏览(50)
  • python 爬虫热身篇 使用 requests 库通过 HTTP 读取网络数据,使用 pandas 读取网页上的表格,使用 Selenium 模拟浏览器操作

    在过去,收集数据是一项繁琐的工作,有时非常昂贵。机器学习项目不能没有数据。幸运的是,我们现在在网络上有很多数据可供我们使用。我们可以从 Web 复制数据来创建数据集。我们可以手动下载文件并将其保存到磁盘。但是,我们可以通过自动化数据收集来更有效地做

    2023年04月08日
    浏览(66)
  • 【Python爬虫开发实战②】使用urllib以及jsonpath爬取即将上映电影信息

    🚀 个人主页 :为梦而生~ 关注我一起学习吧! 💡 专栏 :python网络爬虫从基础到实战 欢迎订阅!后面的内容会越来越有意思~ 💡 往期推荐 : ⭐️首先,我们前面讲了多篇基础内容: 【Python爬虫开发基础④】爬虫原理 【Python爬虫开发基础⑤】HTML概述与基本标签详解 【P

    2024年02月12日
    浏览(46)
  • 网络爬虫-Requests库入门

    一、Requests库的安装 以管理员身份运行命令控制台,输入  pip install -i https://pypi.tuna.tsinghua.edu.cn/simple requests 测试:打开IDLE 此时百度的html页面被抓取成功 二、requests库的7个主要方法 三、Requests库的get()方法:获得一个网页 完整使用方法: Requests库的get()方法源代码:get方法

    2024年02月08日
    浏览(36)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包