使用Python爬虫爬取数据时,需要用到selenium,在服务器上运行时,需要如下配置:
1、安装谷歌浏览器
yum install https://dl.google.com/linux/direct/google-chrome-stable_current_x86_64.rpm -y
2、安装chromedriver
1)运行下面命令查看浏览器版本
[root@hadoop5 program]# google-chrome --version
Google Chrome 118.0.5993.117
2) 根据谷歌浏览器版本下载对应的浏览器驱动版本
Chrome for Testing availability (这个页面里是高版本的驱动)
ChromeDriver - WebDriver for Chrome - Downloads (这个页面是低版本的驱动)
wget https://edgedl.me.gvt1.com/edgedl/chrome/chrome-for-testing/118.0.5993.70/linux64/chromedriver-linux64.zip
3)解压安装文章来源:https://www.toymoban.com/news/detail-737144.html
unzip chromedriver-linux64.zip
mv chromedriver-linux64/chromedriver /usr/bin/
chmod +x /usr/bin/chromedriver
chromedriver -version
3、代码中添加配置文章来源地址https://www.toymoban.com/news/detail-737144.html
chrome_options.add_argument('--headless')
chrome_options.add_argument('--no-sandbox')
chrome_options.add_argument('--disable-dev-shm-usage')
chrome_options.add_argument('--disable-extensions')
chrome_options.add_argument('--log-level=0')
chrome_options.add_argument('--remote-debugging-port=9222')
# GPU硬件加速
chrome_options.add_argument('–-disable-gpu')
browser = webdriver.Chrome(options=chrome_options)
到了这里,关于Linux环境下运行selenium4.14的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!