前言
对于网上流传的提高selenium的方法有很多,但从程序运行的感官上来看,感觉提速并不明显。所以,我特地做了一些测试,寻找最优方案。
但是,由于对不同组的测试次数并不相同,结果可能不太严谨。但是,一般来说,结果基本都在一定范围内浮动,所以结果和多次测试大差不差。
0. 测速结果
1. Request发起请求
import time
import requests
t1 = time.time()
resp = requests.get('http://androil.sinaapp.com/modelyh/21177.html')
t2 = time.time()
print(f"一共耗时{t2-t1}")
测试结果:
一共耗时0.8379917144775391
一共耗时0.8982553482055664
一共耗时0.8139898777008057
2. Selenium发起请求(没有添加任何配置)
import time
from selenium.webdriver import Edge
web = Edge()创建浏览器
t1 = time.time()
web.get("http://www.baidu.com")
t2 = time.time()
print(f"一共耗时{t2-t1}")
web.quit()
测试结果:
一共耗时2.5213799476623535
一共耗时2.655221462249756
一共耗时3.2438957691192627
一共耗时2.867304801940918
3. Selenium发起请求(禁用js、css、图片加载,启用无头浏览器,禁用gpu,禁用插件)
import time
from selenium.webdriver import Edge
from selenium.webdriver.edge.options import Options
edge_option = Options()
prefs = {
'profile.default_content_setting_values': {
'images': 2, 无图模式
'javascript': 2, 禁止脚本加载
'permissions.default.stylesheet': 2, 禁用css
}
}
edge_option.add_experimental_option('prefs', prefs) 添加配置
edge_option.add_argument('--headless') 无头浏览器
edge_option.add_argument('--disable-plugins') 禁用插件
edge_option.add_argument("--disable--gpu")禁用显卡
web = Edge(options=edge_option)创建浏览器
t1 = time.time()
web.get("http://www.baidu.com")
t2 = time.time()
print(f"一共耗时{t2-t1}")
web.quit()
测试结果:
一共耗时2.646573781967163
一共耗时3.0973236560821533
一共耗时1.9942853450775146
一共耗时4.202911376953125
**猜想:**效果不明显,可能是浏览器打开的速度太慢了,直接使用已经打开的浏览器
4. Selenium发起请求(在已打开的浏览器上发起请求)
import time
from selenium.webdriver import Edge
from selenium.webdriver.edge.options import Options
edge_option = Options()
edge_option.add_experimental_option("debuggerAddress","127.0.0.1:9222")
web = Edge(options=edge_option)创建浏览器
t1 = time.time()
web.get("http://www.baidu.com")
t2 = time.time()
print(f"一共耗时{t2-t1}")
web.quit()
测试结果:
一共耗时0.9570584297180176
一共耗时0.8212602138519287
一共耗时0.6052114963531494
一共耗时0.6656308174133301
一共耗时0.8359296321868896
这里的加载速度明显快了很多
5. Selenium发起请求(在已打开的浏览器上发起请求,添加以上配置)
import time
from selenium.webdriver import Edge
from selenium.webdriver.edge.options import Options
edge_option = Options()
edge_option.add_argument('--blink-settings=imagesEnabled=false')
edge_option.add_argument('--headless') 无头浏览器
edge_option.add_argument('–-disable-javascript') 禁用javascript
edge_option.add_argument('--disable-plugins') 禁用插件
edge_option.add_argument("--disable--gpu")禁用显卡
edge_option.add_argument("--disable-images")禁用图像
edge_option.add_experimental_option("debuggerAddress","127.0.0.1:9222")
web = Edge(options=edge_option)创建浏览器
t1 = time.time()
web.get("http://androil.sinaapp.com/modelyh/21177.html")
t2 = time.time()
print(f"一共耗时{t2-t1}")
web.quit()
测试结果:
一共耗时0.602916955947876
一共耗时0.6741578578948975
一共耗时0.7092258930206299
一共耗时0.6321258544921875
一共耗时0.682152509689331
加载速度快了一点,但是但是但是,在运行启动浏览器的时候,可以明显感觉到耗费的时间不只是零点几秒。
**问题:**在计算时间的时候,我并没有把创建对象的时间加进去
6. Selenium启动(无配置)[浏览器对象创建耗时测试]
import time
from selenium.webdriver import Edge
t1 = time.time()
web = Edge()创建浏览器
web.get("http://www.baidu.com")
t2 = time.time()
print(f"一共耗时{t2-t1}")
web.quit()
测试结果:
一共耗时4.975956678390503
一共耗时5.392338275909424
一共耗时5.371351480484009
一共耗时5.267101287841797
一共耗时4.5134382247924805
一共耗时5.200875520706177
一共耗时4.3331522941589355
一共耗时4.416335582733154
总的来说,对于创建浏览器对象所耗费的时间,我们是无法缩短的。所以,在一个进程中,我们尽量只创建一个浏览器对象
6.1 Selenium启动(无配置)[浏览器对象创建耗时测试][二次请求]
import time
from selenium.webdriver import Edge
from selenium.webdriver.edge.options import Options
edge_option = Options()
edge_option.add_experimental_option("debuggerAddress","127.0.0.1:9222")
web = Edge(options=edge_option)创建浏览器
web.get("https://www.sougou.com/")
t1 = time.time()
web.get('https://www.baidu.com/')
t2 = time.time()
print(f"二次请求一共耗时{t2-t1}")
web.quit()
测试结果:
二次请求一共耗时0.6411991119384766
二次请求一共耗时0.5332534313201904
二次请求一共耗时0.5351331233978271
二次请求一共耗时0.6386752128601074
7. Selenium启动已经打开的浏览器(无配置)[浏览器对象创建耗时测试]
import time
from selenium.webdriver import Edge
from selenium.webdriver.edge.options import Options
edge_option = Options()
edge_option.add_experimental_option("debuggerAddress","127.0.0.1:9222")
t1 = time.time()
web = Edge(options=edge_option)创建浏览器
web.get("http://androil.sinaapp.com/modelyh/21177.html")
t2 = time.time()
print(f"一共耗时{t2-t1}")
web.quit()
测试结果:
一共耗时3.3087267875671387
一共耗时3.16994047164917
一共耗时3.21472430229187
一共耗时3.1717209815979004
一共耗时3.227937698364258
速度有所提升,但还不够快
这里需要知道的是,由于浏览器已经打开,我们是无法给已启动的浏览器添加配置的,所有需要我们去手动配置。
不信看下面
8. Selenium启动(有配置,但是在代码中)[浏览器对象创建耗时测试]
import time
from selenium.webdriver import Edge
from selenium.webdriver.edge.options import Options
edge_option = Options()
edge_option.add_argument('--blink-settings=imagesEnabled=false')
edge_option.add_argument('--headless') 无头浏览器
edge_option.add_argument('–-disable-javascript') 禁用javascript
edge_option.add_argument('--disable-plugins') 禁用插件
edge_option.add_argument("--disable--gpu")禁用显卡
edge_option.add_argument("--disable-images")禁用图像
edge_option.add_experimental_option("debuggerAddress","127.0.0.1:9222")
t1 = time.time()
web = Edge(options=edge_option)创建浏览器
web.get("https://www.baidu.com/")
t2 = time.time()
print(f"一共耗时{t2-t1}")
web.quit()
测试结果:文章来源:https://www.toymoban.com/news/detail-770777.html
一共耗时3.41314959526062
一共耗时3.263237714767456
一共耗时3.3738415241241455
一共耗时3.182044267654419
一共耗时3.2655630111694336
9. Selenium启动已打开的浏览器(在浏览器中配置)
测试结果:文章来源地址https://www.toymoban.com/news/detail-770777.html
一共耗时3.175990343093872
一共耗时3.1182053089141846
一共耗时3.0257885456085205
一共耗时3.1209449768066406
结论
- 使用已经打开的浏览器
- 对浏览器进行配置
- 只创建一个浏览器对象
到了这里,关于Selenium | 你真的知道怎么提高Selenium的运行速度吗?的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!