提起selenium想必大家都不陌生，作为一款知名的Web自动化测试框架，selenium支持多款主流浏览器，提供了功能丰富的API接口，经常被我们用作爬虫工具来使用。但是selenium的缺点也很明显，比如速度太慢、对版本配置要求严苛,最麻烦是经常要更新对应的驱动。
今天就给大家介绍另一款web自动化测试工具Pyppeteer，虽然支持的浏览器比较单一，但在安装配置的便利性和运行效率方面都要远胜selenium。
01.Pyppeteer简介
介绍Pyppeteer之前先说一下Puppeteer，Puppeteer是谷歌出品的一款基于Node.js开发的一款工具，主要是用来操纵Chrome浏览器的 API，通过Javascript代码来操纵Chrome浏览器，完成数据爬取、Web程序自动测试等任务。
Pyppeteer其实是Puppeteer的Python版本，下面简单介绍下Pyppeteer的两大特点，chromium浏览器和asyncio框架：
1).chromium
Chromium是一款独立的浏览器，是Google为发展自家的浏览器Google Chrome而开启的计划，相当于Chrome的实验版，Chromium的稳定性不如Chrome但是功能更加丰富，而且更新速度很快，通常每隔数小时就有新的开发版本发布。
Pyppeteer的web自动化是基于chromium来实现的，由于chromium中某些特性的关系，Pyppeteer的安装配置非常简单，关于这一点稍后我们会详细介绍。
2).asyncio
asyncio是Python的一个异步协程库，自3.4版本引入的标准库，直接内置了对异步IO的支持，号称是Python最有野心的库，官网上有非常详细的介绍:
由于Pyppeteer是基于asyncio实现的，所以它本身就支持异步操作，执行效率得到大幅提升。
02.安装与使用
1).极简安装
使用pip install pyppeteer命令就能完成pyppeteer库的安装，至于chromium浏览器，只需要一条pyppeteer-install命令就会自动下载对应的最新版本chromium浏览器到pyppeteer的默认位置。
如果不运行pyppeteer-install命令，在第一次使用pyppeteer的时候也会自动下载并安装chromium浏览器，效果是一样的。总的来说，pyppeteer比起selenium省去了driver配置的环节。
当然，出于某种原因，也可能会出现chromium自动安装无法顺利完成的情况，这时可以考虑手动安装：首先，从下列网址中找到自己系统的对应版本，下载chromium压缩包；
'linux': 'https://storage.googleapis.com/chromium-browser-snapshots/Linux_x64/575458/chrome-linux.zip'
'mac': 'https://storage.googleapis.com/chromium-browser-snapshots/Mac/575458/chrome-mac.zip'
'win32': 'https://storage.googleapis.com/chromium-browser-snapshots/Win/575458/chrome-win32.zip'
'win64': 'https://storage.googleapis.com/chromium-browser-snapshots/Win_x64/575458/chrome-win32.zip'
(左右滑动查看)
然后，将压缩包放到pyppeteer的指定目录下解压缩，windows系统的默认目录。其他系统下的默认目录可以参照下面这幅图：
2).使用
安装完后就来试试效果。一起来看下面这段代码，在main函数中，先是建立一个浏览器对象，然后打开新的标签页，访问百度主页，对当前页面截图并保存为“example.png”，最后关闭浏览器。前文也提到过，pyppeteer是基于asyncio构建的，所以在使用的时候需要用到async/await结构。
运行上面这段代码会发现并没有浏览器弹出运行，这是因为Pyppeteer默认使用的是无头浏览器，如果想要浏览器显示，需要在launch函数中设置参数“headless =False”，程序运行结束后在同一目录下会出现截取到的网页图片：
03.实战异步基金爬取
我们前面一直在说Pyppeteer是一款非常高效的web自动化测试工具，其本质原因是由于Pyppeteer是基于asyncio构建的，它的所有属性和方法几乎都是coroutine对象，因此在构建异步程序的时候非常方便，天生就支持异步运行。
下面就来对比顺序执行和异步运行的效率究竟如何:
1).基金爬取
我们把天天基金网中的开放式基金净值数据爬取作为本次的实验任务，下面这张图是一支基金的历史净值数据，这个页面是js加载的，没办法通过requests直接获取内容信息，因此可以考虑使用模拟浏览器操作的方式进行数据抓取。（事实上基金净值数据的获取是有API接口的，本次任务只是为了演示，不具备实用价值）
为了使效果更加明显，我们此次爬取基金列表页（下图）前50支基金的近20个交易日的净值数据。
2).顺序执行
程序构建的基本思路是新建一个browser浏览器和一个页面page，依次访问每个基金的净值数据页面并爬取数据。核心代码如下：
代码中的get_data()函数用于净值数据页面解析和数据的转化，get_all_codes()函数用于获取全部开放式基金的基金代码（共6000余个）。虽然程序也使用了async/await的结构，但是对多个基金的净值数据获取都是在callurl_and_getdata()函数中顺序执行的，之所以这样写是因为pyppeteer中的方法都是coroutine对象，必须以这种形式构建程序。
为了排除打开浏览器的耗时干扰，我们仅统计访问页面和数据抓取的用时，其结果为：12.08秒。
3).异步执行
下面我们把程序改造一下，功能函数都不变，主要是把对fundlist的循环运行改装成async的task对象。核心代码如下：
耗时的统计区间仍然从浏览器打开后开始计算，其运行用时为：2.18秒，相比顺序执行要快了6倍。可以想象，如果需要爬取的工作量比较大，顺序执行需要10个小时的话，异步执行可能只需要不到2个小时，优化效果可谓非常明显了。
有兴趣的同学可以动手试试这个库。
感谢阅读
Python学习资料
如果你想学习Python帮助你实现自动化办公，或者准备学习Python或者正在学习，下面这些你应该能用得上，有需要可以领取。
① Python所有方向的学习路线图，清楚各个方向要学什么东西
② 100多节Python课程视频，涵盖必备基础、爬虫和数据分析
③ 100多个Python实战案例，学习不再是只会理论
④ 华为出品独家Python漫画教程，手机也能学习
⑤历年互联网企业Python面试真题,复习时非常方便
文末有领取方式哦
一、Python所有方向的学习路线
Python所有方向路线就是把Python常用的技术点做整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。
二、Python课程视频
我们在看视频学习的时候，不能光动眼动脑不动手，比较科学的学习方法是在理解之后运用它们，这时候练手项目就很适合了。
三、Python实战案例
光学理论是没用的，要学会跟着一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。
四、Python漫画教程
用通俗易懂的漫画，来教你学习Python，让你更容易记住，并且不会枯燥乏味。
文章来源：https://www.toymoban.com/news/detail-775261.html
五、互联网企业面试真题
我们学习Python必然是为了找到高薪的工作，下面这些面试题是来自阿里、腾讯、字节等一线互联网大厂最新的面试资料，并且有阿里大佬给出了权威的解答，刷完这一套面试资料相信大家都能找到满意的工作。
这份完整版的Python全套学习资料已经上传CSDN，朋友们如果需要也可以扫描下方csdn官方二维码或者点击主页和文章下方的微信卡片获取领取方式，【保证100%免费】文章来源地址https://www.toymoban.com/news/detail-775261.html
到了这里，关于爬虫界又出神器|一款比selenium更高效的利器的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！
