[Python] 用 Docker + Python + Selenium 抓取-Toy模板网

这篇具有很好参考价值的文章主要介绍了[Python] 用 Docker + Python + Selenium 抓取。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

● 描述方法

根据目标元素是否具有id、class 等属性，描述方法略有不同。

当目标元素具有 id 和 class 等属性时

//p[@id="sum_milage"]

以指定目标元素的形式进行描述。

拆开看看里面的东西，

// : ノードpathを記述する。(「//」はルートからのpathの省略形) p : 要素の種類を記述 @id : 「@」で要素の属性を指定する。classを指定する時は@class=""

即使节点路径被描述为来自 html 的完整路径也没有问题。→ 例子).html/body/div/p

如果目标元素没有属性

//*[@id="top_block"]/p

如果目标元素没有属性，则指定该元素的父元素，并在父元素下以XX元素的形式描述。

同样，如果这个元素被分解，

* : 全ての要素を選択 [@id=""]: 対象要素の親要素を指定する /p : 「/」の前で取得した要素の配下の要素を取得している

在这个过程中，从所有元素中获取id为top_block的元素，获取其下的p标签元素。

当有多个相同的标签元素时，以列表形式表示。→ 示例) // * [ @id = “top_block”] / p [3]

● 如何从Chrome 的验证工具

中复制 XPath 也可以按照以下步骤从Chrome 的验证工具中复制。

1.勾选目标页面的开发者工具的

元素 2.选择需要的元素

3.右键打开上下文菜单

4.复制→复制选择XPATH

5.粘贴到编辑器

比较容易复制这个方法也方便因为它可以完成并且节点路径或属性没有拼写错误。

XPath的其他方法请参考本站（创建爬虫需要！XPATH符号汇总）。

我们来看看实际的处理过程。

显示网页

准确的说是获取浏览器驱动请求的网页响应的过程。为了表达方便，将其描述为显示。

摘抄

from selenium import webdriver options = webdriver.ChromeOptions() driver = webdriver.Remote(command_executor='172.21.0.3:4444/wd/hub', options=options) # ブラウザでWebページを開く driver.get('https://xxxxxxxx.herokuapp.com/')

从库中导入 selenium webdriver。

（可选）指定要启动的浏览器。这次我设置了Chrome驱动程序。

您可以通过创建在另一个容器中创建的远程服务器对象并将 URL 作为参数传递给 get() 方法来显示网页。

单击按钮元素

就是点击红框中的按钮的过程。

摘抄

bicycle_button = driver.find_element(By.XPATH, '//input[@id="button_bicycle"]') bicycle_button.click()

要单击按钮元素，请使用 find_element() 方法为目标元素创建一个对象并调用 click() 方法。

从元素中获取文本

从红框的p元素中获取蓝色字符的文本是一个过程。

摘抄

bicycle_page_message_2 = driver.find_element(By.XPATH, '//p[@id="sum_milage"]').get_attribute('textContent')

要获取元素的文本，请使用 find_element() 方法创建目标元素的对象并调用 get_attribute() 方法。

另外，好像可以用.text获取文本，但是在属性中指定隐藏时好像不能获取（display:none等），所以get_attribute()方法可以获取我认为无论属性的文本都很好。

在输入元素中输入一个值

在图像的红框处输入①和②中的值是一个过程。

摘抄

# 入力したい値を変数に格納 MILAGE = 38.38 ELEVATION = 218 # ①の処理 # 走行距離を入力するinputタグ要素を取得 input_milage = driver.find_element(By.XPATH, '//*[@id="input_milage"]') # 入力内容をクリア(何も入力されていないけど念のため) input_milage.clear() # 入力内容をセット input_milage.send_keys(MILAGE) # ②の処理 # 獲得標高を入力するinputタグ要素を取得し、値を入力 input_elevation = driver.find_element(By.XPATH, '//*[@id="input_elevation"]') input_elevation.clear() input_elevation.send_keys(ELEVATION)

①和②都在做同样的过程。

要将值输入到输入元素，请使用 find_element() 方法创建目标元素的对象，调用 send_keys() 方法，将要输入的值传递给参数，然后执行以输入值。

如果在输入元素中设置了值，则通过clear()方法提前清除该值，但我认为即使在未输入值的元素中也这样做以防止错误更安全。

在下拉菜单中选择一个项目

从图片红框中③的下拉菜单中选择一个项目的过程。

摘抄

# 必要なライブラリのimport from selenium.webdriver.support.select import Select # 入力したい値を変数に格納 WEATHER = ['晴れ', '曇り', '雨'] # ドロップダウン要素を取得する dropdown = driver.find_element(By.XPATH, '//*[@id="select_weather"]') # ドロップダウン要素からSelectオブジェクトを作成する select_weather = Select(dropdown) # ドロップダウンの値を表示されているテキストを選択して記入する select_weather.select_by_visible_text(WEATHER[0])

要使用下拉元素选择一个值，请从库中导入 Select 类并创建一个 Select 实例。

有多种方法可以在 Select 实例中选择一个值，但这次我按照下拉菜单项中显示的文本指定的方式对其进行编码。

如果将要选择的菜单文本传递给 Select 类中提供的 select_by_visible_text() 方法，则该项目将被选中。

其他方法请参考本站（Selenium API (reverse lookup) … 使用目的可以搜索Selenium API … 使用目的可以搜索Selenium API")）。

单击警报“确定”按钮

这是一个让Alert对象显示在屏幕上并点击“确定”按钮的过程。

我无法截图，所以没有图像。

摘抄

from selenium.webdriver.common.alert import Alert # データが送信されalert表示のための最大待ち時間 alert_wait = WebDriverWait(driver, 10) alert_wait.until(EC.alert_is_present()) # アラートのokをクリックする処理 Alert(driver).accept()

从库中导入 Alert 类。

创建Alert实例时传递driver对象，执行accept()方法完成点击OK按钮。

另外，对于等待Alert显示在屏幕上的过程，使用alert_is_present()方法来检查Alert的显示情况。

指定最长等待时间并停止处理

等待页内处理时可以使用的一种方法，例如等待页面中的元素加载或Alert 显示。

摘抄

from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.support import expected_conditions as EC wait = WebDriverWait(driver, 5) wait.until(EC.visibility_of_element_located((By.XPATH, '//p[@id="sum_milage"]')))

首先，从库中导入 WebDriverWait 和 expected_conditions。

将 expected_conditions 设置为 EC 似乎是 Selenium 的方式。

创建一个 WebDriverWait 实例并创建一个等待对象。此时，在第二个参数中指定处理完成之前的“最大”等待时间。

然后检查对象的 until() 方法是否处于所需状态。

在until() 方法的参数中，描述expected_conditions 方法中XPath 指定的元素的预期行为。

这次使用visibility_of_element_located()方法来检查是否显示了指定的元素。

如果可以确认 XPath 指定的元素显示在屏幕上，则 until() 方法正常结束并进入下一个过程。

如果在创建 WebDriverWait 实例时指定的最大等待时间超过指定的元素仍未显示在屏幕上，则将返回 Exception。

* 与标准库time的sleep()的区别在于，如果可以确认处理完成，则无需等待最大时间就移动到下一个处理。

重新加载页面

摘抄

driver.refresh()

要重新加载页面，请使用驱动程序对象的 refresh() 方法。

尝试运行

========

运行代码以查看该过程是否确实有效。

首先，让我们在终端上检查一下。

root@9f672ec558d8:/work# python3 docker_selenium.py Connect remote browser... remote browser connected... current URL: https://xxxxxxxx.herokuapp.com/ current URL: https://xxxxxxxx.herokuapp.com/bicycle_contents Max 5 secound wait... bicycle_page_message_2 before: 今月は 2036.59 km 走っています。 input dialog open... 3 secound wait... Input button click... Max 10 secound wait... alert ok button click... reload page... Max 5 secound wait... bicycle_page_message_2 after: 今月は 2074.97 km 走っています。 Connection stop...

里程在bike_page_message_2前后变化。

其他处理似乎没有问题。

接下来，让我们检查一下执行前后数据库（MySQL）表中的数据。

执行前

MySQL

| 12044 | 2021-10-29 | 22.75 | 318 | 71 | 224 | | 12054 | 2021-10-29 | 22.27 | 173 | 71 | 224 | +-------+---------------------+--------+-----------+------------+-----------+ 1197 rows in set (9.14 sec) mysql>

执行后

MySQL

| 12044 | 2021-10-29 | 22.75 | 318 | 71 | 224 | | 12054 | 2021-10-29 | 22.27 | 173 | 71 | 224 | | 12064 | 2021-10-30 | 38.38 | 218 | 71 | 224 | +-------+---------------------+--------+-----------+------------+-----------+ 1198 rows in set (9.16 sec) mysql>

自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。

深知大多数Python工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但对于培训机构动则几千的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年Python开发全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。
[Python] 用 Docker + Python + Selenium 抓取,2024年程序员学习,python,docker,selenium

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上Python开发知识点，真正体系化！

由于文件比较大，这里只是将部分目录大纲截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新

如果你觉得这些内容对你有帮助，可以添加V获取：vip1024c （备注Python）
[Python] 用 Docker + Python + Selenium 抓取,2024年程序员学习,python,docker,selenium

最后

Python崛起并且风靡，因为优点多、应用领域广、被大牛们认可。学习 Python 门槛很低，但它的晋级路线很多，通过它你能进入机器学习、数据挖掘、大数据，CS等更加高级的领域。Python可以做网络应用，可以做科学计算，数据分析，可以做网络爬虫，可以做机器学习、自然语言处理、可以写游戏、可以做桌面应用…Python可以做的很多，你需要学好基础，再选择明确的方向。这里给大家分享一份全套的 Python 学习资料，给那些想学习 Python 的小伙伴们一点帮助！