pyautogui 配合 selenium 实现桌面坐标系定位元素坐标，模拟真实鼠标行为-Toy模板网

这篇具有很好参考价值的文章主要介绍了pyautogui 配合 selenium 实现桌面坐标系定位元素坐标，模拟真实鼠标行为。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

pyautogui 配合 selenium 实现桌面坐标系定位元素坐标，模拟真实鼠标行为。

场景：当我需要点击某个元素，或者触发浏览器的自动填充账号密码时，自动化点击无效。但是想要模拟真实鼠标点击又需要元素的坐标通过pyautogui来实现。通过selenium node.location获取的坐标是相当于浏览器实际内容窗口的坐标系，不能满足pyautogui 直接去自动化操作。这时可以通过浏览器js 获取菜单等实际边框大小计算出实际的node.location零点位置相对于桌面坐标的坐标系，从而得出元素在桌面坐标系的位置。这样不管怎么操作一般都不会相差太多。
注：未考虑滑动条存在的情况
代码如下：文章来源地址https://www.toymoban.com/news/detail-648911.html

def get_node_position(driver, node):
    """
    获取元素相对于window窗口上的绝对坐标
    :param driver: 浏览器自动化对象
    :param node: 定位到的元素对象
    :return: 
    """
    window_rect = driver.get_window_rect()
    menu = driver.execute_script("return window.outerHeight - window.innerHeight")
    border = driver.execute_script("return window.outerWidth -  window.innerWidth")
    origin_y = window_rect['y'] + menu - (border / 2)
    origin_x = window_rect['x'] + (border / 2)
    return {"x":node.location['x']+origin_x,"y":node.location['y']+origin_y}
// pyautogui 左键点击
import pyautogui as gui
gui.click(100, 100)