使用lxml解析本地html文件报错?

这篇具有很好参考价值的文章主要介绍了使用lxml解析本地html文件报错?。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

场景说明

使用 lxml 中的 parse 方法读取本地 html 文件报错,遇到这种问题该怎么解决呢?

from lxml import etree


response = etree.parse('test.html')
tr_list = response.xpath('//table[@class="list-table"]/tbody/tr[not(@id)][position()>1]')
print(tr_list)

报错:

Traceback (most recent call last):
  File "C:\Users\admin\Desktop\chipsmall\instock\spiders\test.py", line 39, in <module>
    main1()
  File "C:\Users\admin\Desktop\chipsmall\instock\spiders\test.py", line 5, in main1
    response = etree.parse('test.html')
               ^^^^^^^^^^^^^^^^^^^^^^^^
  File "src\lxml\etree.pyx", line 3541, in lxml.etree.parse
  File "src\lxml\parser.pxi", line 1879, in lxml.etree._parseDocument
  File "src\lxml\parser.pxi", line 1905, in lxml.etree._parseDocumentFromURL
  File "src\lxml\parser.pxi", line 1808, in lxml.etree._parseDocFromFile
  File "src\lxml\parser.pxi", line 1180, in lxml.etree._BaseParser._parseDocFromFile
  File "src\lxml\parser.pxi", line 618, in lxml.etree._ParserContext._handleParseResultDoc
  File "src\lxml\parser.pxi", line 728, in lxml.etree._handleParseResult
  File "src\lxml\parser.pxi", line 657, in lxml.etree._raiseParseError
  File "test.html", line 83
lxml.etree.XMLSyntaxError: Opening and ending tag mismatch: link line 71 and head, line 83, column 347

报错原因

  • 根据报错信息,看起来是在解析HTML文件时出现了语法错误。具体错误是在test.html文件的第83行,link标签的开启和结束标签不匹配。
  • 这个错误可能是由于HTML文件本身存在语法问题导致的。你可以打开test.html文件,检查第83行的代码,确保link标签的开启和结束标签是正确匹配的。修复HTML文件中的语法错误后,再次运行代码应该就不会报错了。

解决方法

对于这种 HTML 文件不规范导致的报错有什么好的解决方法呢?
原则上对于这种 HTML 文件不规范导致的报错,修复 HTML 文件中的错误即可解决。但是这需要对 HTML 语法有基本的了解,并且如果有多个文件,每个文件错误的地方有可能不同,如果要修复文件就需要花费大量的精力!那么有什么更好的方法吗?
以下是更好的解决方法,如果遇到类似的问题可以参考:

from lxml import etree


html_content = open('test.html', 'r', encoding='utf8').read()
parser = etree.HTMLParser()
tree = etree.fromstring(html_content, parser)

tr_list = tree.xpath('//table[@class="list-table"]/tbody/tr[not(@id)][position()>1]')
for otr in tr_list:
    web_product = otr.xpath('./td[@class="td-model"]/div/div/a/text()')[0]
    brand = otr.xpath('./td[@class="td-brand"]/div/text()')[0].strip()
    icon = otr.findtext('./td[@class="td-model"]/div/a/i', default=None)
    supplier = otr.xpath('./td[@class="j-company-td"]/p/a/text()')[0].strip()
    batch = otr.findtext('./td[@class="td-pproductDate"]/p', default=None)
    number = otr.findtext('./td[@class="td-stockNum"]/p[1]', default=None)
    package = otr.findtext('./td[@class="td-ppackage"]/p[1]', default=None)
    date = otr.xpath('./td[14]/p/text()')[0].strip()
    result = {
        'supplier': supplier,
        'product': web_product,
        'icon': icon,
        'brand': brand,
        'batch': batch,
        'number': number,
        'package': package,
        'date': date
    }
    print(result)

注意:该方法也适合读取网络文件,如:文章来源地址https://www.toymoban.com/news/detail-756439.html

import requests
from lxml import etree

url = "https://example.com/test.html"

response = requests.get(url)
html_content = response.text

parser = etree.HTMLParser()
tree = etree.fromstring(html_content, parser)
tr_list = tree.xpath('//table[@class="list-table"]/tbody/tr[not(@id)][position()>1]')
print(tr_list)

到了这里,关于使用lxml解析本地html文件报错?的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • Python爬虫——解析插件xpath的安装及使用

    目录 1.安装xpath 2.安装lxml的库 3.xpath基本语法 4.案例一:获取百度网站的百度一下字样 5.案例二:爬取站长素材网上的前十页照片 打开谷歌浏览器 -- 点击右上角小圆点 -- 更多工具 -- 扩展程序  下载xpath压缩包,下载地址:阿里云盘分享 把压缩包解压到指定目录 -- 选择加

    2024年02月02日
    浏览(39)
  • 尚硅谷爬虫(解析_xpath的基本使用)笔记

    创建一个简单的HTML: 创建一个python文件: 如果解析本地文件使用etree.parse 如果解析服务器响应文件使用etree.HTML() 运行:  会报错 lxml.etree.XMLSyntaxError: Opening and ending tag mismatch: meta line 4 and head, line 6, column 8 原因是 xpath 严格遵守HTML规范   解决方法: 在meta标签中加入 /  再次

    2023年04月21日
    浏览(46)
  • Python使用XPath解析HTML:从入门到精通

    XPath是一种用于选择XML文档中节点的语言,它可以通过路径表达式来定位节点。由于HTML文档的结构与XML文档类似,XPath也可以用于解析HTML文档。Python是一种非常流行的编程语言,它提供了许多库用于解析HTML文档。本文将介绍Python中使用XPath解析HTML文档的方法和技巧。 XPath表达

    2024年02月03日
    浏览(43)
  • 5.网络爬虫——Xpath解析

    前言: 📝​📝​此专栏文章是专门针对Python零基础爬虫,欢迎免费订阅! 📝​📝第一篇文章获得 全站热搜第一 , python领域热搜第一 , 第四篇文章 全站热搜第八 ,欢迎阅读! 🎈🎈欢迎大家一起学习,一起成长!! 💕💕:悲索之人烈焰加身,堕落者不可饶恕。永恒燃

    2024年02月03日
    浏览(30)
  • lxml&xpath一站式教学

    XPath 是一门在 XML 文档中查找信息的语言。XPath 可用来在 XML 文档中对元素和属性进行遍历。它最初是用来搜寻 XML 文档的,现在它同样适用于 HTML 文档的搜索 XPath 的选择功能十分强大,它提供了非常简洁明了的路径选择表达式 。 另外,它还提供了超过100 个内建函数,用于字

    2023年04月21日
    浏览(102)
  • python爬虫数据解析xpath

    下载地址:百度网盘 请输入提取码 第一步: 下载好文件后会得到一个没有扩展名的文件,重命名该文件将其改为.rar或者.zip等压缩文件,解压之后会得到一个.crx文件和一个.pem文件。新建一个文件夹,将这两个文件放在该文件夹(本人将其命名为xpath-helper)内。 第二步: 将

    2024年02月10日
    浏览(39)
  • Python爬虫学习笔记(四)————XPath解析

    目录 0.xpath最新下载地址和安装教程 1.xpath安装 2.xpath基本使用 3.xpath基本语法 4.实例 (1)xpath解析本地文件  (2)xpath解析服务器响应的数据 ①获取百度网站的“百度一下”四个字 ②获取站长素材网站情侣图片前十页的图片 0.xpath最新下载地址和安装教程 https://blog.csdn.net/

    2024年02月16日
    浏览(48)
  • python爬虫数据解析xpath、jsonpath,bs4

    解析数据的方式大概有三种 xpath JsonPath BeautifulSoup 打开谷歌浏览器扩展程序,打开开发者模式,拖入插件,重启浏览器,ctrl+shift+x,打开插件页面 安装在python环境中的Scripts下边,这里就是python库的位置,例如我的地址为:E:pythonpython3.10.11Scripts 解析本地文件etree.parse( \\\'xx.

    2024年02月13日
    浏览(43)
  • python spider 爬虫 之 解析 xpath 、jsonpath、BeautifulSoup (三)

    简称:bs4 BeautifulSoup跟lxml 一样,是一个html文档的解析器,主要功能也是解析和提取数据 优缺点 缺点:效率没有lxml的效率高 优点:接口接口人性化,使用方便 延用了css选择器 安装BeautifulSoup 1、安装:pip install bs4 2、导入:from bs4 import BeautifulSoup 3、创建bs4 对象 ① 服务器响

    2024年02月11日
    浏览(58)
  • Python网页爬虫爬取豆瓣Top250电影数据——Xpath数据解析

    1.1 查看原页面信息 首先打开豆瓣Top250电影页面,其网址是:https://movie.douban.com/top250。 可以发现,该页面展示的电影信息有中英文电影名、导演、主演、上映年份、国籍、电影类型、评分等。 下滑到页面底部,发现第一页有25部电影的数据,并且可以点击页码数实现页面跳转

    2024年02月05日
    浏览(50)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包