selenium 爬虫的数据实战-Toy模板网

这篇具有很好参考价值的文章主要介绍了selenium 爬虫的数据实战。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

引言

众所周知，Python 有很多的爬虫工具，例如，requests、scrapy、selenium等。但是爬虫有个最难搞的东西就是反爬虫了，使用 requests、scrapy框架爬取速度飞快，但是遇到反爬的网站就得斗智斗勇半天甚至好几天。因此，如果仅仅是一些小项目，没有必要使用其他工具，就使用 selenium 就可以了。

selenium 实战

selenium 的使用方法非常简单，需要进行一些配置，这里我使用的是谷歌浏览器，其他浏览器请自行搜索~

安装 selenium

pip install selenium

安装谷歌浏览器以及谷歌浏览器驱动

浏览器驱动是和浏览器对应的。不同的浏览器需要选择不同的浏览器驱动。

目前主流的浏览器中，谷歌 Chrome 浏览器对 Selenium自动化的支持更加成熟一些。

推荐大家使用 Chrome浏览器。

可以点击这里，下载安装谷歌浏览器

确保Chrome浏览器安装好以后，请大家打开下面的连接，访问Chrome 浏览器的驱动下载页面

Chrome 浏览器驱动下载地址

注意浏览器驱动必须要和浏览器版本匹配，大版本一致就可以了。

比如，谷歌浏览器版本为 103，那么就下载 103 开头的就可以了~

selu爬虫,selenium,爬虫,python

省略浏览器驱动路径

下载的浏览器驱动是一个压缩包，解压之后放到一个容易找到的位置，例如 C 盘根目录

我们可以把浏览器驱动 所在目录 加入环境变量 Path ，写代码时，就可以无需指定浏览器驱动路径了，像下面这样。

wd = webdriver.Chrome()

然后可以配置一些初始化的参数，代码这里我整理好了，直接拿去用就对了，url为1688网站，已经提前搜索了商品的url地址。

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver import ChromeOptions,ActionChains

# 1688搜索页商品数据url
url = 'https://s.1688.com/selloffer/imall_search.htm?keywords=%C5%AE%D7%B0&n=y&netType=1%2C11%2C16&spm=a260k.22518165.search.0'

# 初始化浏览器
def driver_init():
    # 加载配置数据
    profile_dir = r'--user-data-dir=C:\Users\hjl\AppData\Local\Google\Chrome\User Data'
    c_option = webdriver.ChromeOptions()
    c_option.add_experimental_option('useAutomationExtension', False)
    c_option.add_experimental_option('excludeSwitches', ['enable-automation'])
    prefs = {
        'profile.default_content_setting_values':
            {
                'notifications': 2
            },
        'profile.password_manager_enabled': False,
        'credentials_enable_service': False
    }
    c_option.add_experimental_option('prefs', prefs)
    # 开发者模式防止被识别出
    # 网址：https://blog.csdn.net/dslkfajoaijfdoj/article/details/109146051
    c_option.add_experimental_option('excludeSwitches', ['enable-automation'])
    c_option.add_argument("--disable-blink-features=AutomationControlled")
    # c_option.add_experimental_option('w3c', False)
    c_option.add_argument(profile_dir)
    driver = webdriver.Chrome(chrome_options=c_option)
    # 执行cdp命令
    driver.execute_cdp_cmd("Page.addScriptToEvaluateOnNewDocument", {
        "source": """
                    Object.defineProperty(navigator, 'webdriver', {
                       get: () => undefined
                    })
                  """
    })
    return driver

接着，定义一个获取商品标题、价格、购买人数等参数的方法

def get_goods_info(driver):
    # 获取商品信息的列表
    goods_list =  driver.find_element(By.ID, 'sm-offer-list').find_elements(By.CLASS_NAME, 'space-offer-card-box')
    print('-----------------')
    print('开始爬取数据，数据长度为：', len(goods_list))
    for li in goods_list:
        link_div = li.find_element(By.CLASS_NAME, 'mojar-element-title').find_element(By.TAG_NAME, 'a')
        link = link_div.get_attribute('href')
        title = li.find_element(By.CLASS_NAME, 'mojar-element-title').find_element(By.CLASS_NAME, 'title').text

        try:
            # 这个地方容易报错，所以用try，不知道为什么，有毒
            price_div = li.find_element(By.CLASS_NAME, 'mojar-element-price')
            price = price_div.find_element(By.CLASS_NAME, 'showPricec').text
            sale_sum = price_div.find_element(By.CLASS_NAME, 'sale').text
            if sale_sum == '':
                sale_sum = '0'
        except:
            continue
        print('-----------------')
        print(title, price, sale_sum)

最后，使用程序入口函数启动爬虫程序~

注意，因为1688有部分商品数据是需要动态加载的，因此我们需要让爬虫程序滑动一下页面，触发数据加载之后再去爬取。

# 程序入口
if __name__ == '__main__':
    driver = driver_init()
    driver.implicitly_wait(3)  
    # 打开链接获取商品信息
    driver.get(url)
    # 睡眠1秒，等待浏览器加载完毕
    time.sleep(2)
    # 循环爬取40页数据
    for i in range(40):
        print(f'-----------------第{i+1}页-----------------')
        # 等待浏览器加载完毕
        driver.implicitly_wait(7)
        # 获取当前窗口句柄
        original_window = driver.current_window_handle
        # 获取下一页的按钮
        next_btn = driver.find_element(By.CLASS_NAME, 'fui-next')
        time.sleep(1)
        # 慢慢向下滚动
        for i in range(1, 3):
            driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")
            time.sleep(1)
        # 再慢慢向上滚动
        for i in range(1, 3):
            driver.execute_script("window.scrollTo(0, 0);")
            time.sleep(1)
        # 滑动鼠标到页面中部
        ActionChains(driver).move_by_offset(0, 300).perform()
        time.sleep(1)

        # 获取商品信息
        get_goods_info(driver)
        # 点击下一页
        try:
           next_btn.click()
        except:
            break

---------------------------END---------------------------