Python学习：用Selenium读取网页表格-Toy模板网

这篇具有很好参考价值的文章主要介绍了Python学习：用Selenium读取网页表格。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

1.获取表格元素：

表格的结构一般以table标签开始，此函数是获取table元素的，一个网页中可能不止一个表格，此处返回表格元素的列表。

def GetTableElements():
    '''获得table标签元素列表，方便选择合适的表格'''
    driver = GetDriver()
    # 参考：selenium 根据 tag名 选择元素  https://blog.csdn.net/weixin_41665637/article/details/111315408
    elements = driver.find_elements_by_tag_name('table')
    return elements

2.获取表格头的列信息：

返回值形如 [‘列1的名字’, ‘列2的名字’]

def _GetHeadList(table):
    '''
    功能：返回表格列的名称列表
    参数：table：对应的表格元素
    '''
    thead = table.find_element_by_tag_name('thead')
    tr = thead.find_element_by_tag_name('tr')
    ths = tr.find_elements_by_tag_name('th')
    res = []
    for th in ths:
        res.append(th.text)
    return res

3.读取一行里面的信息：

其中heads就是从表头中获取的每一列的名字列表。文章来源地址https://www.toymoban.com/news/detail-510499.html

def _GetOneRow(tr,heads):
    '''
    功能：取得一行的信息
    tr：当前行的tr元素
    heads：是一个字符串列表，表示每一列的名称
    返回值：返回一个字典，形如：{'Row1': value1, 'Row2':value2}
    '''
    res = {}
    tds = tr.find_elements_by_tag_name('td')
    for i,td in enumerate(tds):
        res[heads[i]] = td
    return res

4.获取表格每一个单元格对象：

def GetTable(table):
    '''
    功能：返回表格信息
    参数：table：对应的表格元素
    '''
    res = []
    # Python学习交流群：711312441 
    # 获得表格头
    heads = _GetHeadList(table)
     
    tbody = table.find_element_by_tag_name('tbody')
    trs = tbody.find_elements_by_tag_name('tr')
    for tr in trs:
        row = _GetOneRow(tr,heads)
        res.append(row)
    return res

5.也可以把单元格对象转换成文本：

def GetTableText(table):
    '''与GetTable函数相比，此函数把元素对象转换成文本'''
    res = []
    table = GetTable(table)
    for row in table:
        tmpRow = {}
        for key in row.keys():
            tmpRow[key]=row[key].text
        res.append(tmpRow)
    return res