编程小白的自学笔记十一(python爬虫入门三Selenium的使用+实例详解)

这篇具有很好参考价值的文章主要介绍了编程小白的自学笔记十一(python爬虫入门三Selenium的使用+实例详解)。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

系列文章目录

编程小白的自学笔记十(python爬虫入门二+实例代码详解

编程小白的自学笔记九(python爬虫入门+代码详解) 

编程小白的自学笔记八(python中的多线程) 

编程小白的自学笔记七(python中类的继承) 


目录

系列文章目录

文章目录

前言

一、Selenium是什么

二、安装Selenium

 三、第一个例子(打开百度浏览器)

 四、第二个例子(在百度搜索框内输入内容)

总结


前言

作为一个编程小白,目前按照书籍已经学完爬虫部分,但是书上的爬虫过于基础,难以实战,于是我又跟在“以山河作礼。”大佬的专栏后面学,今天学习到了Selenium的使用,记录一下。


一、Selenium是什么

官方回答是:Selenium 是最广泛使用的开源 Web UI(用户界面)自动化测试套件之一。 Selenium 测试脚本可以使用任何支持的编程语言进行编码,并且可以直接在大多数现代 Web 浏览器中运行。

我个人理解这东西可以模拟一些人的操作,具体有哪些,我们一步一步看(我也是边学边记)。 

二、安装Selenium

pip install selenium就是这么简单,不说了。大佬的文章里都会说下一个浏览器的驱动,然后操作驱动,我们先试试不用驱动行不行。

 三、第一个例子(打开百度浏览器)

我们先看示例代码: 

from selenium import webdriver

drive = webdriver.Chrome()
drive.set_window_size(1100, 850)
drive.get('https://www.baidu.com/')
输出结果是错误的,提示:“The version of chrome cannot be detected. Trying with latest driver version”,这个错误就表示使用的驱动程序与安装的Chrome版本不兼容看来必须下驱动了,但是我在另一台电脑上运行这段代码是可以的,于是我仔仔细细找了一遍,发现电脑里的谷歌浏览器运行文件名竟然是chrone.exe,抱着试一试的态度,我将其改成chrome.exe,运行果然成功了。

 编程小白的自学笔记十一(python爬虫入门三Selenium的使用+实例详解),编程小白自学笔记,笔记,python,爬虫,selenium,实例,人工智能,团队开发

下面详细分析一下代码:

from selenium import webdriver”的意思是:webdriver是selenium库中提供的一个类,它代表了一个浏览器实例,可以被用来控制浏览器进行各种操作。通过使用from selenium import webdriver,我们可以直接使用webdriver类来创建一个Chrome浏览器实例,并通过该实例来控制浏览器进行各种操作。

后面的三个代码就很好理解了,创建实例,设置窗口大小,输入打开的网页地址。

 四、第二个例子(在百度搜索框内输入内容)

 selenium提供了两个方法来获取元素位置。

find_element获取满足条件的第一个元素

find_elements获取满足条件的所有元素

这两个方法可以通过ID或者name来确定元素的位置,我们都来试试。

 首先我们先了解一下网页,在检查模式下,我们可以看到输入框的html代码为:

编程小白的自学笔记十一(python爬虫入门三Selenium的使用+实例详解),编程小白自学笔记,笔记,python,爬虫,selenium,实例,人工智能,团队开发 

<input id="kw" name="wd" class="s_ipt" value="" maxlength="255" autocomplete="off"> 

我们分析这段网页代码,它的ID属性是“kw”,那么我们尝试编写一段代码,在输入框输入“加油”,代码如下:

from selenium import webdriver
from selenium.webdriver.common.by import By


drive = webdriver.Chrome()
drive.set_window_size(1100, 850)
drive.get('https://www.baidu.com/')
drive.find_element(By.ID, 'kw').send_keys('加油')

 成功运行,结果如下图:

 编程小白的自学笔记十一(python爬虫入门三Selenium的使用+实例详解),编程小白自学笔记,笔记,python,爬虫,selenium,实例,人工智能,团队开发

我们再试试name属性,代码如下: 

from selenium import webdriver
from selenium.webdriver.common.by import By
drive = webdriver.Chrome()
drive.set_window_size(1100, 850)
drive.get('https://www.baidu.com/')
drive.find_element(By.NAME, 'wd').send_keys('躺平')

 也是成功运行的:

编程小白的自学笔记十一(python爬虫入门三Selenium的使用+实例详解),编程小白自学笔记,笔记,python,爬虫,selenium,实例,人工智能,团队开发 

照例,我们来分析代码

“from selenium.webdriver.common.by import By”的意思是Selenium库的webdriver.common.by模块中导入了By类。

“drive.find_element(By.NAME, 'wd').send_keys('躺平')”就是通过NAME定位,输入“躺平”。

同样定位的方法还有很多,例如:

drive.find_element(By.CLASS_NAME, 's_ipt').send_keys('躺平')


总结

Selenium是一个支持各大浏览器的自动化测试工具,包括 Chrome,Safari,Firefox ,ie等。它可以直接运行在浏览器中,就如同真正的客户在使用一样。Selenium可以用于爬虫,解决一些复杂爬虫的问题。使用Selenium可以获取动态的网页数据,一些动态的数据在网页的源代码中并没有显示,这时候可以考虑用Selenium获取。

 以下是selenium常用的一些方法 :
- `driver.get(url)`:打开一个网页。
- `driver.find_element_by_*()`:通过各种方式查找元素。
- `driver.find_elements_by_*()`:通过各种方式查找元素,返回的是一个列表。
- `driver.execute_script(*args)`:执行JavaScript代码。
- `driver.switch_to.window(*args)`:切换到指定窗口。
- `driver.switch_to.frame(*args)`:切换到指定frame。
- `driver.back()`:返回上一个页面。
- `driver.forward()`:前进到下一个页面。
- `driver.refresh()`:刷新当前页面。文章来源地址https://www.toymoban.com/news/detail-602902.html

到了这里,关于编程小白的自学笔记十一(python爬虫入门三Selenium的使用+实例详解)的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • Python爬虫(二十一)_Selenium与PhantomJS

    本章将介绍使用Selenium和PhantomJS两种工具用来加载动态数据,更多内容请参考:Python学习指南 Selenium是一个Web的自动化测试工具,最初是为网站自动化测试而开发的,最初是为网站自动化测试而开发的,类型像我们玩游戏用的按键精灵,可以按指定的命令自动化操作,不同是

    2024年02月05日
    浏览(46)
  • 小白必看Python爬虫Selenium库详细教程

    在我们爬取网页过程中,经常发现我们想要获得的数据并不能简单的通过解析HTML代码获取,这些数据是通过AJAX异步加载方式或经过JS渲染后才呈现在页面上显示出来。 selenuim是一种自动化测试工具,它支持多种浏览器。而在爬虫中,我们可以使用它来模拟浏览器浏览页面,进

    2024年02月01日
    浏览(28)
  • 爬虫入门指南(7):使用Selenium和BeautifulSoup爬取豆瓣电影Top250实例讲解【爬虫小白必看】

    在本篇博客中,我们将使用 Python 的 Selenium 和 BeautifulSoup 库来实现一个简单的网页爬虫,目的是爬取豆瓣电影TOP250的数据,并将结果保存到Excel文件中。 Selenium 是一个自动化测试工具,可以模拟用户在浏览器中的交互操作。我们将使用 Selenium 来打开网页、获取网页源码。 B

    2024年02月12日
    浏览(35)
  • 项目二:学会使用python爬虫请求库(小白入门级)

    上一章已经了解python爬虫的基本知识,这一次让我们一起来学会如何使用python请求库爬取目标网站的信息。当然这次爬虫之旅相信我能给你带来不一样的体验。 目录 一、安装requests 库 简介 安装 步骤 1.requests的基本使用3步骤 2.查看所使用编码 3.设置编码 二、认识requests请求

    2024年04月24日
    浏览(23)
  • Python教程_编程入门自学教程_菜鸟教程-免费教程分享

    Python - 教程 Python - 概述 Python - 环境设置 Python - 基本语法 Python - 变量类型 Python - 基本运算符 Python - 决策 Python - 循环 Python - 数字 Python - 字符串 Python - 列表 Python - 元组 Python - 字典 Python - 日期和时间 Python - 功能 Python - 模块 Python - 文件I / O. Python - 异常处理 Python - 面向对象

    2024年02月02日
    浏览(36)
  • Python爬虫学习笔记(七)————Selenium

    目录 1.什么是selenium? 2.为什么使用selenium? 3.selenium安装 4.selenium的使用步骤 5.selenium的元素定位 6.访问元素信息 7.交互 1.什么是selenium? (1)Selenium是一个用于Web应用程序测试的工具。 (2)Selenium 测试直接运行在浏览器中,就像真正的用户在操作一样。 (3)支持通过各种

    2024年02月16日
    浏览(28)
  • 【零基础入门Python爬虫】第三节 Python Selenium

    Python Selenium 是一种自动化测试框架,可以模拟用户在浏览器中的交互行为。它是一个基于浏览器驱动程序的工具,可用于Web应用程序测试、数据采集等方面,能够让开发人员通过代码自动化地模拟用户在浏览器中的操作,并获取到所需的数据。 Selenium的主要优势是它可以模拟

    2024年02月04日
    浏览(36)
  • 【Python爬虫开发】selenium从入门到精通

    1、概述 selenium本身是一个自动化测试工具。它可以让python代码调用浏览器。并获取到浏览器中加载的各种资源。 我们可以利用selenium提供的各项功能。 帮助我们完成数据的抓取。 2、学习目标 掌握 selenium发送请求,加载网页的方法 掌握 selenium简单的元素定位的方法 掌握 s

    2024年02月03日
    浏览(27)
  • 网络爬虫(Python:Selenium、Scrapy框架;爬虫与反爬虫笔记)

    Selenium是一个模拟浏览器浏览网页的工具,主要用于测试网站的自动化测试工具。 Selenium需要安装浏览器驱动,才能调用浏览器进行自动爬取或自动化测试,常见的包括Chrome、Firefox、IE、PhantomJS等浏览器。 注意:驱动下载解压后,置于Python的安装目录下;然后将Python的安装目

    2024年01月18日
    浏览(45)
  • python爬虫selenium+scrapy常用功能笔记

    访问网址可以看到直观结果 https://bot.sannysoft.com/ 获取页面dom 页面元素获取 元素点击 frame跳转 获取cookie 给请求添加cookie 点击 上传文件 退出页面 多摘自之前文档 https://blog.csdn.net/weixin_43521165/article/details/111905800 创建项目 scrapy startproject 爬虫项目名字 # 例如 scrapy startproject f

    2023年04月20日
    浏览(40)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包