目录
1.任务需求
输入
输出
2.解决办法
3.运行结果
4.特殊情况
4.1 公司统一社会代码为0?
4.2 搜索次数过多,会弹出验证码或者登陆界面?
4.3 安装selenium包,提示没有find_element_by_id用法?
1.任务需求
输入
给定一个公司企业的列表,用excel存放,如下图所示:
输出
通过企查查(或者天眼查等)获取企业的18位统一社会代码,最终存放在excel中,如下所示:
2.解决办法
使用python中的web自动化测试包selenium可以解决。
代码如下:
import openpyxl
from time import sleep
#获取查询名单
list_name = []
path = r'C:\Users\Aiken\Desktop\data.xlsx'
wb = openpyxl.load_workbook(path)
wb_sheet = wb['Sheet2']
maxrows = wb_sheet.max_row
for i in range(maxrows-1):
name = wb_sheet.cell(i+2,1).value
list_name.append(name)
from selenium import webdriver
# #进入企查查
driver = webdriver.Chrome()
url = 'https://www.qcc.com/?utm_source=baidu1&utm_medium=cpc&utm_term=pzsy'
driver.get(url)
driver.refresh()
sleep(15)
cnt = 0
for j in list_name:
cnt += 1
# 如果发生需要验证码或者登陆的情况,可以用if判断在上一次中断的地方继续
# if(cnt >= 353) :
# sleep(1)
driver.find_element_by_id('searchKey').clear() #定位到搜索框
driver.find_element_by_id('searchKey').send_keys(j) #在搜索框中输入查询企业名单
try:
driver.find_element_by_xpath('/html/body/div[1]/div[2]/section[1]/div/div/div/div[1]/div/div/span/button').click()
except:
driver.find_element_by_xpath('/html/body/div[1]/div[1]/div/div/div/div/div/div/span/button').click()
try:
name_id = driver.find_element_by_xpath('/html/body/div[1]/div[2]/div[2]/div[3]/div/div[2]/div/table/tr[1]/td[3]/div/div[4]/div[1]/span[4]/span/div/span[1]').text
except:
name_id = "0000"
print(cnt, j, name_id)
wb_sheet.cell(list_name.index(j)+2,2,value = name_id)
wb.save(path)
wb.close()
driver.close()
3.运行结果
终端会输出相关信息,同时如果不报错的话,会直接写入到excel中。
4.特殊情况
4.1 公司统一社会代码为0?
部分公司数据可能为0,这是因为有的公司的企查查信息布局不一样,导致使用html语法定位时候没找到数据。如果数据量少,可以直接手动修改。如果数据量多,可以修改代码。
4.2 搜索次数过多,会弹出验证码或者登陆界面?
可以设置好睡眠时间sleep(10),手动扫码登陆,然后通过断点的方式继续输出,然后把输出的数据放到txt中,再转化一下就行。 (更好的办法肯定是解决反爬虫机制!)
文章来源:https://www.toymoban.com/news/detail-807036.html
4.3 安装selenium包,提示没有find_element_by_id用法?
这是因为高版本的selenium更改了语法方式。可以把selenium版本更改为3.3.1(亲测可行)文章来源地址https://www.toymoban.com/news/detail-807036.html
到了这里,关于【python】批量获取企业公司的统一社会代码的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!