python爬虫篇:使用Selenium自动打开小说网页并自动浏览

这篇具有很好参考价值的文章主要介绍了python爬虫篇:使用Selenium自动打开小说网页并自动浏览。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

需求:python,pycharm,Selenium库,火狐或ie浏览器

文章目录

  • 一、自动打开小说网页并浏览

前言

简单使用Selenium库,实现对浏览器的自动化操作


一、自动打开小说网页并浏览

1.下载库

方法:使用命令行下载或者在pycharm中下载

使用命令行下载:打开cmd终端,输入pip install selenium

python爬虫篇:使用Selenium自动打开小说网页并自动浏览

 在pycharm中下载:设置->项目->python解释器->+

python爬虫篇:使用Selenium自动打开小说网页并自动浏览

2.引入库

代码如下:

from selenium import webdriver

3.创建浏览器对象并自动打开网页

代码如下:

from selenium import webdriver
Novel=webdriver.Firefox()#这里使用的是火狐浏览器
url="https://book.zongheng.com/chapter/1234528/68556331.html"#url为目标小说网址
Novel.get(url)#
Novel.set_window_size(1000,800)#调整窗口尺寸大小

4.增加js语句,模拟鼠标向下滑动,引入内置库,控制下滑速度

代码如下(完整代码):

from selenium import webdriver
import time#python内置库,无需安装
import random#python内置库,无需安装
Novel=webdriver.Firefox()#如果使用的是IE浏览器需改为webdriver.Ie()
url="https://book.zongheng.com/chapter/1234528/68556331.html"#url可改为其他网址
Novel.get(url)
Novel.set_window_size(1000,800)
i=0
while i<1000:
    speed=3#speed控制下滑幅度
    js="window.scrollTo("+str(i)+','+str(i+speed)+");"#模拟鼠标下滑的js语句
    i+=speed
    Novel.execute_script(js)#执行js语句
    time.sleep(random.randint(0,1))#控制下滑频率

总结

简单使用Selenium自动化操作网页,放松双手,值得拥有;

----点赞加关注,学习不迷路----

->你的点赞关注是我更新的最大动力<-文章来源地址https://www.toymoban.com/news/detail-495585.html


到了这里,关于python爬虫篇:使用Selenium自动打开小说网页并自动浏览的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • python通过selenium爬取网页信息,python获取浏览器请求内容,控制已经打开的浏览器

    背景:通过python中直接get或者urlopen打开一些有延迟加载数据的网页,会抓取不到部分信息。 1. 命令行打开chrome,并开启调试端口 (前提,找到chrome安装目录,找到chrome.exe所在路径,添加到环境变量中,例如我的是C:Program FilesGoogleChromeApplication) remote-debugging-port指定远程调试

    2024年02月16日
    浏览(55)
  • 解决Python selenium打开浏览器自动退出

    刚学selenium,在网上复制了启动浏览器的代码,结果打开Chrome浏览器跳转网页后,浏览器自动退出了,可是并没有调用quit(),查了下解决方案,说是降版本,不想降,所以找了其他方法: 设置启动参数即可,驱动过程结束后保持浏览器的打开状态: options.add_experimental_option(

    2024年02月05日
    浏览(36)
  • 【python爬虫】10.指挥浏览器自动工作(selenium)

    上一关,我们认识了cookies和session。 分别学习了它们的用法,以及区别。 还做了一个项目:带着小饼干登录,然后在博客中发表评论。 除了上一关所讲的登录问题,在爬虫过程中,我们还可能会遇到各种各样棘手的问题—— 有的网站登录很复杂,验证码难以破解,比如大名

    2024年02月10日
    浏览(37)
  • 使用selenium打开浏览器自动关闭及报错问题

    目录 1.问题 2.解决方案 3.安装后可能出现浏览器报错 \\\'msedgedriver\\\' executable needs to be in PATH 4.此时浏览器正常打开并不会出现闪退问题 安装python后,在运行Selenium的时候遇到一个问题,执行完程序,浏览器自动关闭了,我在程序中也没有写driver.quit()方法。代码如下: 当前seleni

    2024年02月17日
    浏览(31)
  • Python爬虫框架之Selenium库入门:用Python实现网页自动化测试详解

    是否还在为网页测试而烦恼?是否还在为重复的点击、等待而劳累?试试强大的 Selenium !让你的网页自动化测试变得轻松有趣! Selenium 是一个强大的自动化测试工具,它可以让你直接操控浏览器,完成各种与网页交互的任务。通过使用 Python 的 Selenium 库,你可以高效地实现

    2024年02月10日
    浏览(40)
  • Python-爬虫、自动化(selenium,动态网页翻页,模拟搜索,下拉列表选择、selenium行为链)

    selenium是一个Web自动化测试工具,可以直接运行在浏览器上·支持所有主流的浏览器.可以根据我们的指令,让浏览器自动加载页面,获取需要的数据,基础页面截图等。 使用pip install selenium命令下载selenium模块。 运行下列代码: 说明没有下载对应浏览器的驱动,这里使用谷歌

    2024年02月01日
    浏览(51)
  • python使用selenium打开网页失败

    以上是我的代码,没有做课题,直接敲出现一下问题: 1、第一句报红 没下载selenium 在win+R---cmd中直接运行命令  2、网页打不开---没有下载浏览器驱动器(以谷歌为例) 首先在谷歌的设置--关于中查看版本号  然后打开网址http://npm.taobao.org/mirrors/chromedriver/ 找到前缀和自己版

    2024年01月19日
    浏览(40)
  • 解决python+selenium自动化,打开谷哥浏览器窗口么会自动关闭问题

    # 导包 from selenium import webdriver from selenium.webdriver.common.by import By # 实例化浏览器,且浏览器对象的初始化放在定义的方法函数外,以全局变量的形式使用 wd = webdriver.Chrome() # 已配置环境变量 def get(): #

    2024年02月14日
    浏览(39)
  • Python网页爬虫爬取起点小说——re解析网页数据

    !!注意:我们获取到的网页响应数据,可能会与网页源代码中呈现的格式不同。因为有些网页文件是用JavaScript加载的,浏览器会自动将其解析成html文档格式,而我们获取到的内容是JavaScript格式的文档。所以获取到响应数据之后先要查看内容是否与网页源码中的一致,不一

    2024年02月04日
    浏览(42)
  • Python爬虫基础(三):使用Selenium动态加载网页

    Python爬虫基础(一):urllib库的使用详解 Python爬虫基础(二):使用xpath与jsonpath解析爬取的数据 Python爬虫基础(三):使用Selenium动态加载网页 Python爬虫基础(四):使用更方便的requests库 Python爬虫基础(五):使用scrapy框架 (1)Selenium是一个用于Web应用程序测试的工具。

    2024年02月06日
    浏览(42)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包