运用了selenium的爬虫技术-Toy模板网

这篇具有很好参考价值的文章主要介绍了运用了selenium的爬虫技术。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

from selenium import webdriver
from selenium.webdriver.edge.service import Service
from selenium.webdriver.common.by import By
wd=webdriver.Edge(service=Service(r'D:\360安全浏览器下载\edgedriver_win64\msedgedriver.exe'))
wd.get('网站地址')
element=wd.find_element(By.ID,'ID号')
element.send_keys('你要输入的内容\n')
input()

这里input（）是为了延迟程序，避免网站打开后自动关闭

注意像这种模拟浏览器的操作尽量在pycharm中使用，jupyter操作起来会很慢。

注意一下如果在pycharm可以进行断点调试，在代码左边设置一个断点，然后F9继续执行，可以观察到浏览器是如何输入了你输入的内容。

import time
from selenium import webdriver
from selenium.webdriver.edge.service import Service
from selenium.webdriver.common.by import By
from selenium.common.exceptions import NoSuchElementException
wd=webdriver.Edge(service=Service(r'D:\360安全浏览器下载\edgedriver_win64\msedgedriver.exe'))
wd.get('网站地址')
try:
    element=wd.find_element(By.ID,'ID号')
    element.send_keys('你要输入的内容')
    time.sleep(10)
    element2=wd.find_element(By.ID,'search-bt')
    element2.click()
    time.sleep(10)
except NoSuchElementException:
    print('opps!')
wd.quit()

刚才是用换行符来进行搜索，这次是用点击的方式来搜索。

import time
from selenium import webdriver
from selenium.webdriver.edge.service import Service
from selenium.webdriver.common.by import By
from selenium.common.exceptions import NoSuchElementException
wd=webdriver.Edge(service=Service(r'D:\360安全浏览器下载\edgedriver_win64\msedgedriver.exe'))
wd.implicitly_wait(5)
wd.get('http://eco.hust.edu.cn/info/1154/14684.htm')
try:
    elements=wd.find_elements(By.XPATH,'//a[contains(text(), "附件")]')
    for element in elements:
        print(element.text)
        element.click()
        time.sleep(5)
except NoSuchElementException:
    print('opps!')
wd.quit()

这个是解决点击链接下载文件的代码。

注意几点。

在很多编程语言中，如Python, Java等，单引号(')和双引号(")都被认为是字符串的开始和结束标识。

当你在字符串中使用单引号(')时，如果字符串内部也使用单引号(')，那么就需要采取一些措施，否则编译器会认为字符串在此结束。这也就是为什么你在输入汉字时会报错，因为在默认情况下，编译器会认为你正在试图使用一个以单引号(')开始和结束的字符串，而中间的汉字并不是有效的字符串内容。

而当使用双引号(")时，情况则稍有不同。在很多编程语言中，双引号(")通常被用来表示字符串，特别是在需要包含特殊字符（如单引号(')或双引号(")）时。所以，当你在字符串中使用双引号(")时，如果字符串内部也使用双引号(")，那么通常不会出现问题。所以，这里附件是要用双引号括起来，否则会报错。

这里xpath语法注意下，我是通过a标签的文本内容来寻找a标签的。没有@text的用法。

通过爬虫下载的文件保存地址可能和你用浏览器下载默认地址不同。文章来源地址https://www.toymoban.com/news/detail-769225.html

到了这里，关于运用了selenium的爬虫技术的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！