Python + Playwright 无头浏览器Chrome找不到元素-Toy模板网

这篇具有很好参考价值的文章主要介绍了Python + Playwright 无头浏览器Chrome找不到元素。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

用Python + Playwright调试时，发现不用无头浏览器（即headless=False）代码能够运行成功，但是一用无头浏览器时（即headless=True）就会报错，提示找不到元素。换成Firefox浏览器又不会有这个问题，有可能是因为网站有一个前段反爬虫手段。（同理，如果大家使用playwright codegen时遇到机器人检测的网站过不去的，也可以尝试加上-b firefox参数去指定使用Firefox浏览器去录制脚本，亲测对一些机器人检测的网站友好很多）

其中一种常见的反爬虫手段是通过检测当前user-agent是否为真实浏览器来区分当前请求是否来自真实用户。爬虫使用的常见user-agent类型为：

user-agent为空。没有设置user-agent。
user-agent中包含特殊字符。如：python,java,bot,spider,headless等。

而使用Playwright的Chrome无头浏览器访问网站时，user-agent中会自动添加Headless字段。当网站检测到user-agent包含Headless时判定为非真实请求时，可能会返回空页面，所以导致无头浏览器找不到元素。

因此我们需要添加user-agent来进行浏览器伪装，用浏览器到

https://www.useragentstring.com/index.php

这个网站可以查看当前浏览器使用的User Agent String，例如我的浏览器的User Agent String是Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36

随后参考以下示例，添加浏览器启动参数即可文章来源地址https://www.toymoban.com/news/detail-603168.html

def run(playwright: Playwright) -> None:
    browser = playwright.chromium.launch(headless=True, args=['--user-agent=Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36'])

到了这里，关于Python + Playwright 无头浏览器Chrome找不到元素的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！