Python爬虫基础之Selenium详解_python selenium

这篇具有很好参考价值的文章主要介绍了Python爬虫基础之Selenium详解_python selenium。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。


  需要注意的是,如果你的 selenium 是`4.11.2`以上的版本,不需要设置`driver.exe`的路径,selenium 可以自己处理浏览器的驱动程序,因此代码直接改为`brower = webdriver.Chrome()`即可。  
   运行代码,得到下面的效果:


Python爬虫基础之Selenium详解_python selenium,程序员,python,爬虫,selenium


## 5. Selenium的元素定位


  自动化工具要做的就是模拟鼠标和键盘来操作点击、输入等等元素,但是操作这些元素的前提是找到它们,WebDriver 提供了很多元素定位的方法:


* **根据标签 id 获取元素:**

from selenium import webdriver
from selenium.webdriver.common.by import By

创建浏览器操作对象

path = ‘chromedriver.exe’

browser= webdriver.Chrome()

访问网站

url = ‘https://www.baidu.com’
browser.get(url)

button = browser.find_element(By.ID, ‘su’)

button = browser.find_elements(By.ID, ‘su’)

print(button)

* **根据标签 name 属性的值获取元素:**

button = browser.find_element(By.NAME, ‘wd’)
print(button)

* **根据 Xpath 语句获取元素;**

button = browser.find_element(By.XPATH, ‘//input[@id=“su”]’)
print(button)

* **根据标签名获取元素:**

button = browser.find_elements(By.TAG_NAME, ‘input’)
print(button)

* **根据 bs4 语法获取元素:**

button = browser.find_elements(By.CSS_SELECTOR, ‘#su’)
print(button)

* **根据标签的文本获取元素(精确定位):**

button = browser.find_elements(By.LINK_TEXT, ‘地图’)
print(button)

* **根据标签的文本获取元素(模糊定位):**

button = browser.find_elements(By.PARTIAL_LINK_TEXT, ‘地’)
print(button)

* **根据 class 属性获取元素:**

button = browser.find_element(By.CLASS_NAME, ‘wrapper_new’)
print(button)



  当我们定位到元素之后,自然就要考虑如何获取到元素的各种信息,selenium 给我们提供了获取元素不同信息的方法:


* **获取元素属性:**

from selenium import webdriver
from selenium.webdriver.common.by import By

创建浏览器操作对象

path = ‘chromedriver.exe’

browser= webdriver.Chrome()

访问网站

url = ‘https://www.baidu.com’
browser.get(url)

button = browser.find_element(By.ID, ‘su’)
print(input.get_attribute(‘class’))

* **获取元素标签名:**

input = browser.find_element(By.ID, ‘su’)
print(input.tag_name)

* **获取元素文本:**

input = browser.find_element(By.ID, ‘su’)
print(input.text)

* **获取元素位置:**

input = browser.find_element(By.ID, ‘su’)
print(input.location)

* **获取元素大小:**

input = browser.find_element(By.ID, ‘su’)
print(input.size)



## 6. Selenium的交互


  页面交互指的是我们平时在浏览器上的各种操作,比如输入文本、点击链接、回车、下拉框等,下面就演示 selenium 是如何进行页面交互的。


* **输入文本:**

from selenium import webdriver
from selenium.webdriver.common.by import By
import time

创建浏览器操作对象

path = ‘chromedriver.exe’

browser = webdriver.Chrome()

访问网站

url = ‘https://www.baidu.com’
browser.get(url)

定位输入框

input = browser.find_element(By.ID, ‘kw’)

输入文本selenium

input.send_keys(‘selenium’)
time.sleep(2)

关闭浏览器

browser.close()

* **点击:**

from selenium import webdriver
from selenium.webdriver.common.by import By
import time

创建浏览器操作对象

path = ‘chromedriver.exe’

browser = webdriver.Chrome()

访问网站

url = ‘https://www.baidu.com’
browser.get(url)

定位输入框

input = browser.find_element(By.ID, ‘kw’)

输入文本selenium

input.send_keys(‘selenium’)
time.sleep(2)

定位百度一下的按钮

button = browser.find_element(By.ID, ‘su’)

点击按钮

button.click()
time.sleep(2)

关闭浏览器

browser.close()

* **清除文本:**

from selenium import webdriver
from selenium.webdriver.common.by import By
import time

创建浏览器操作对象

path = ‘chromedriver.exe’

browser = webdriver.Chrome()

访问网站

url = ‘https://www.baidu.com’
browser.get(url)

定位输入框

input = browser.find_element(By.ID, ‘kw’)

输入文本selenium

input.send_keys(‘selenium’)
time.sleep(2)

清除selenium

input.clear()
time.sleep(2)

关闭浏览器

browser.close()

* **回车确认:**

from selenium import webdriver
from selenium.webdriver.common.by import By
import time

创建浏览器操作对象

path = ‘chromedriver.exe’

browser = webdriver.Chrome()

访问网站

url = ‘https://www.baidu.com’
browser.get(url)

定位输入框

input = browser.find_element(By.ID, ‘kw’)

输入文本selenium

input.send_keys(‘selenium’)
time.sleep(2)

回车查询

input.submit()
time.sleep(2)

关闭浏览器

browser.close()

* **运行 JavaScript:**

from selenium import webdriver
from selenium.webdriver.common.by import By
import time

创建浏览器操作对象

path = ‘chromedriver.exe’

browser = webdriver.Chrome()

访问网站

url = ‘https://www.baidu.com’
browser.get(url)

定位输入框

input = browser.find_element(By.ID, ‘kw’)

输入文本selenium

input.send_keys(‘selenium’)
time.sleep(2)

回车查询

input.submit()
time.sleep(2)

js代码

js_bottom = ‘document.documentElement.scrollTop=100000’

下拉进度条,页面滑动

browser.execute_script(js_bottom)
time.sleep(2)

关闭浏览器

browser.close()

* **前进后退**

from selenium import webdriver
from selenium.webdriver.common.by import By
import time

创建浏览器操作对象

path = ‘chromedriver.exe’

browser = webdriver.Chrome()

访问网站

url = ‘https://www.baidu.com’
browser.get(url)

定位输入框

input = browser.find_element(By.ID, ‘kw’)

输入文本selenium

input.send_keys(‘selenium’)
time.sleep(2)

回车查询

input.submit()
time.sleep(2)

自我介绍一下,小编13年上海交大毕业,曾经在小公司待过,也去过华为、OPPO等大厂,18年进入阿里一直到现在。

深知大多数Python工程师,想要提升技能,往往是自己摸索成长或者是报班学习,但对于培训机构动则几千的学费,着实压力不小。自己不成体系的自学效果低效又漫长,而且极易碰到天花板技术停滞不前!

因此收集整理了一份《2024年Python开发全套学习资料》,初衷也很简单,就是希望能够帮助到想自学提升又不知道该从何学起的朋友,同时减轻大家的负担。

Python爬虫基础之Selenium详解_python selenium,程序员,python,爬虫,selenium

Python爬虫基础之Selenium详解_python selenium,程序员,python,爬虫,selenium

Python爬虫基础之Selenium详解_python selenium,程序员,python,爬虫,selenium

Python爬虫基础之Selenium详解_python selenium,程序员,python,爬虫,selenium

Python爬虫基础之Selenium详解_python selenium,程序员,python,爬虫,selenium

Python爬虫基础之Selenium详解_python selenium,程序员,python,爬虫,selenium

既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,基本涵盖了95%以上前端开发知识点,真正体系化!

由于文件比较大,这里只是将部分目录大纲截图出来,每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频,并且后续会持续更新

如果你觉得这些内容对你有帮助,可以扫码获取!!!(备注Python)文章来源地址https://www.toymoban.com/news/detail-852596.html

t/6c361282296f86381401c05e862fe4e9.png)

Python爬虫基础之Selenium详解_python selenium,程序员,python,爬虫,selenium

既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,基本涵盖了95%以上前端开发知识点,真正体系化!

由于文件比较大,这里只是将部分目录大纲截图出来,每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频,并且后续会持续更新

如果你觉得这些内容对你有帮助,可以扫码获取!!!(备注Python)

Python爬虫基础之Selenium详解_python selenium,程序员,python,爬虫,selenium

到了这里,关于Python爬虫基础之Selenium详解_python selenium的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • python爬虫selenium操作下拉框详解

    使用python爬虫的selenium操作网页的下拉框。 以该网站为例:https://www.17sucai.com/pins/demo-show?id=5926 该网页下存在多个可供测试的下拉框。 基本脚手架代码: 定位下拉框(以第一个下拉框为例) Select()方法 不推荐这样定位 选中下拉框,点击 第一个下拉框的可选值如图所示 选择

    2024年02月11日
    浏览(50)
  • 【零基础入门Python爬虫】第三节 Python Selenium

    Python Selenium 是一种自动化测试框架,可以模拟用户在浏览器中的交互行为。它是一个基于浏览器驱动程序的工具,可用于Web应用程序测试、数据采集等方面,能够让开发人员通过代码自动化地模拟用户在浏览器中的操作,并获取到所需的数据。 Selenium的主要优势是它可以模拟

    2024年02月04日
    浏览(62)
  • (十四)python网络爬虫(理论+实战)——爬虫利器selenium详解

    目录 6 selenium的介绍和使用      6.1 爬虫遇到的难点

    2023年04月08日
    浏览(48)
  • Python爬虫之selenium的基础使用

    一.本文背景及概要 笔者在Python爬虫的学习过程中接触selenium,惊觉此包的强大之处,便对学习的知识做个记录,方便日后需要时查看,同时也和读者分享。文中表述如有错误,敬请指正,感激不尽。 本文主要是对selenium的概要和一些基础的用法。特此说明:笔者学习的资料中

    2024年02月07日
    浏览(43)
  • 【Python爬虫开发基础⑩】selenium概述

    🚀 个人主页 :为梦而生~ 关注我一起学习吧! 💡 专栏 :python网络爬虫从基础到实战 欢迎订阅!后面的内容会越来越有意思~ 💡 往期推荐 : ⭐️前面比较重要的 基础内容 : 【Python爬虫开发基础⑥】计算机网络基础(Web和HTTP) 【Python爬虫开发基础⑦】urllib库的基本使用

    2024年02月12日
    浏览(44)
  • 【Python爬虫】Python爬虫三大基础模块(urllib & BS4 & Selenium)

    参考资料 Python爬虫教程(从入门到精通) Python urllib | 菜鸟教程 Beautiful Soup 4 入门手册_w3cschool Selenium入门指南 Selenium教程 什么是 Scrapy|极客教程 Scrapy入门教程 1、网络爬虫是什么? 我们所熟悉的一系列 搜索引擎都是大型的网络爬虫 ,比如百度、搜狗、360浏览器、谷歌搜索等

    2024年02月12日
    浏览(51)
  • Python爬虫基础(三):使用Selenium动态加载网页

    Python爬虫基础(一):urllib库的使用详解 Python爬虫基础(二):使用xpath与jsonpath解析爬取的数据 Python爬虫基础(三):使用Selenium动态加载网页 Python爬虫基础(四):使用更方便的requests库 Python爬虫基础(五):使用scrapy框架 (1)Selenium是一个用于Web应用程序测试的工具。

    2024年02月06日
    浏览(59)
  • Python爬虫框架之Selenium库入门:用Python实现网页自动化测试详解

    是否还在为网页测试而烦恼?是否还在为重复的点击、等待而劳累?试试强大的 Selenium !让你的网页自动化测试变得轻松有趣! Selenium 是一个强大的自动化测试工具,它可以让你直接操控浏览器,完成各种与网页交互的任务。通过使用 Python 的 Selenium 库,你可以高效地实现

    2024年02月10日
    浏览(62)
  • 一天掌握python爬虫【基础篇】 涵盖 requests、beautifulsoup、selenium

    大家好,我是python222小锋老师。前段时间卷了一套  Python3零基础7天入门实战  以及1小时掌握Python操作Mysql数据库之pymysql模块技术 近日锋哥又卷了一波课程,python爬虫【基础篇】 涵盖 requests、beautifulsoup、selenium,文字版+视频版。1天掌握。 视频版教程:一天掌握python爬虫【

    2024年02月07日
    浏览(46)
  • 编程小白的自学笔记十一(python爬虫入门三Selenium的使用+实例详解)

    编程小白的自学笔记十(python爬虫入门二+实例代码详解 编程小白的自学笔记九(python爬虫入门+代码详解)  编程小白的自学笔记八(python中的多线程)  编程小白的自学笔记七(python中类的继承)  目录 系列文章目录 文章目录 前言 一、Selenium是什么 二、安装Selenium  三、

    2024年02月16日
    浏览(52)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包