目录
图像读取主要用了两个库，不同的库是不同的对象：
本次图像识别测试需要以下两个条件：
1. 验证码获取
2. 登录网站
3. 图像处理
4. 验证码识别测试
测试说明
测试代码
测试结果
5. 成功示例的再识别测试
测试说明
测试代码
测试结果
测试注意事项
6. 集成融合投票模型，并使用多进程机制运行程序
测试说明
测试代码
测试结果
单进程运行程序的结果
并行运行程序时的效果及结果
7. 失败示例的再识别
8. 其他
图像读取主要用了两个库，不同的库是不同的对象：
# plt.imread和PIL.Image.open读入的都是RGB顺序
from PIL import Image
img = Image.open('xxxx.png') # 读取Image对象
img.save('xxx.png')
'''
print(img.mode) # 有'1', 'L', 'P', 'RGB', 'RGBA'等
'1': 表示黑白模式照片
'L': 表示灰度模式照片
'RGB': 表示RGB通道模式的彩色照片
'RGBA': 表示RGB通道及Alpha通道的照片
'''
img.show() # 显示图片
img.convert('L') # 转换为'L'模式
img.crop((20,30,300,200)) # 裁剪
# Image.eval(img, function) # 对每个像素/通道进行函数处理
import cv2
# opencv中cv2.imread读入的是BGR通道顺序
# flags=0是灰度模式，flags=1是默认的彩色模式
# im = cv2.imread('xxxx.png', flags=0) # 读取图像array对象、
im = cv2.imread("imgCode_grey200.jpg", flags=cv2.IMREAD_GRAYSCALE)
cv2.imwrite('imgCode_grey200.jpg', im)
plt.imshow(im) # 显示图片
# plt.show()
# plt.close()
# cv2.imshow('im', im) # 显示图片
## PIL.Image.open和cv2.imread的比较与相互转换的方法
# 当图片是png格式，读取结果是一致的；
# 当图片是jpg格式时，读取结果是不一致的。
# 这可能是因为Image.open 与 cv2.imread 在解码jpg时运算有差异。
# 简单转换
# im = np.array(img, np.uint8) # copy=True
# im = np.asarray(img, np.uint8) # copy=False
# 不设置dtype为数值的话，得到的可能是布尔值的数组，比如二值化后的图片
im = np.asarray(img)
# img = Image.fromarray(np.uint8(im))
img = Image.fromarray(im)
# 标准转换
def PILImageToCV(imagePath):
# PIL Image转换成OpenCV格式
img = Image.open(imagePath)
plt.imshow(img)
img = cv2.cvtColor(np.asarray(img), cv2.COLOR_RGB2BGR)
plt.imshow(img)
plt.show()
def CVImageToPIL(imagePath):
# OpenCV图片转换为PIL image
img = cv2.imread(imagePath)
plt.imshow(img)
img2 = Image.fromarray(cv2.cvtColor(img, cv2.COLOR_BGR2RGB))
plt.imshow(img2)
plt.show()本次图像识别测试需要以下两个条件：
OCR软件：tesseract.exe，通过命令行调用来识别字符。
OCR软件的Python接口：pytesseract，内核是OCR软件tesseract
OCR：Optical Character Recognition （光学字符识别）
备注：另外的一个接口PyOCR，内核可包括tesseract或其他，但也得提前安装OCR软件。
import pytesseract
def get_result_by_imgCode_recognition(img):
# 进行验证码识别
result = pytesseract.image_to_string(img) # 接口默认返回的是字符串
# ''.join(result.split()) # 去掉全部空格和\n\t等
result = ''.join(list(filter(str.isalnum, result))) # 只保留字母和数字
return result
def pass_counter(img, img_value):
# 辨别是否识别正确
rst = get_result_by_imgCode_recognition(img)
if rst == img_value:
return 1
else:
return 0
def most_frequent(lst):
# 获取列表最频繁的元素，可用于集成投票获得识别结果
# return max(lst, key=lst.count)
return max(set(lst), key=lst.count)1. 验证码获取
通过浏览器的开发者工具，发现验证码图片为base64编码的文件，通过解码后写入文件。
def fetch_imgCode():
# 获取验证码
url_imgCode = 'xxxx'
html = requests.post(url_imgCode)
'''
print(f'imgCode rsp: {html.text}')
imgCode rsp: {
"data":
{"image_buf_str": "/9j/4AAQ....KAP/9k=",
"image_code": "16501881494161"},
"error_code": 0, "msg": {"en-us": "Success", "zh-CN": "\u6210\u529f"},
"request": "POST /public/verificationCode/imgCode"}
'''
html = html.json()
image_buf_str = html['data']['image_buf_str']
image_code = html['data']['image_code']
# 保存base64编码的图片为图片文件
with open(f'./imgCode_png_raw/imgCode_{image_code}.png', 'wb') as f:
f.write(base64.b64decode(image_buf_str))
return image_code2. 登录网站
通过向网站发起post请求，可登录网站，一般情况下：
输入image_code对应的正确的验证码的值image_value，即可登录成功。
反过来，如果登录成功，也意味着我们识别出来的验证码值image_value是正确。
HEADERS_PORTAL = {
'User-Agent': 'xxxx',
"Content-Type": "application/json",
}
def login(image_code, image_value):
login_flag = False
url_login = 'xxxx'
data_login = {"account": "DEMO_Tong",
"password": "9xdsaGcy",
"image_code": image_code,
"captcha": image_value,
"nickname": "DEMO_Tong", "client_type": 100}
html = requests.post(url_login, data=json.dumps(data_login), headers=HEADERS_PORTAL)
# print(f'login info: {html.text}')
html = html.json()
if html.get('data'):
if html.get('data').get('token'):
login_flag = True
return login_flag3. 图像处理
灰度处理、二值处理、去噪、膨胀及腐蚀、倾斜矫正、字符切割、归一化等
# 灰度处理和二值处理
# lookup_table = [0 if i < 200 else 1 for i in range(256)]
def gray_processing(img, threshold = 127):
# 转为灰度模式
img = img.convert('L')
# 转为二值模式，阈值默认是 127，大于为白色，否则黑色。
# 为什么127呢，256/2=128， 2^8=256, 一个字节byte是8个比特bit
# image.convert('1') # 即 threshold = 127
# threshold = 125
lookup_table = [0 if i < threshold else 1 for i in range(256)]
img = img.point(lookup_table, '1')
return img
# 膨胀腐蚀法
def erode_dilate(im, threshold=2):
# im = cv2.imread('xxx.jpg', 0)
# cv2.imshow('xxx.jpg', im)
# (threshold, threshold) 腐蚀矩阵大小
kernel = np.ones((threshold, threshold), np.uint8)
# 膨胀
erosion = cv2.erode(im, kernel, iterations=1)
# cv2.imwrite('imgCode_erosion.jpg', erosion)
# Image.open('imgCode_erosion.jpg').show()
# # 腐蚀
# eroded = cv2.dilate(erosion, kernel, iterations=1)
# cv2.imwrite('imgCode_eroded.jpg', eroded)
# Image.open('imgCode_eroded.jpg').show()
return erosion
4.验证码识别测试
测试说明
根据不同的图像处理方式，进行验证码识别测试，积累成功识别示例的同时，观察不同处理方式的识别效果。测试中获取的验证码具有随机性，有容易识别的，也有不容易识别的，但客观上属于同一难度的验证码。
本次识别测试将分为3组，每次识别10000张，通过模拟登录网站来验证是否识别正确。
第一组直接识别原图片文件，标签为“raw”
第二组识别灰度处理和阈值为200的二值处理后的图片对象，标签为“gray”
第三组识别经灰度、二值和膨胀处理后的图片对象，标签为“erosion”
识别的结果根据图像处理方式和识别正确与否，放在不同文件夹，识别结果也追加到文件名：
imgCode_png_raw：存放从网站保存下来的原始图片
imgCode_png_raw_pass：存放raw测试识别正确的原始图片
imgCode_png_raw_fail：存放raw测试识别失败的原始图片
imgCode_png_raw_gray_pass：存放gray测试识别正确的原始图片
imgCode_png_raw_gray_fail：存放gray测试识别失败的已处理后的图片
imgCode_png_raw_gray_erosion_pass：存放erosion测试识别正确的原始图片
imgCode_png_raw_gray_erosion_fail：存放erosion测试识别失败的已处理后的图片
注意：通过浏览器的开发工具可以发现，验证码使用的字体应该是 element-icons.535877f5.woff
测试代码
from tqdm import tqdm, trange
from tqdm.contrib import tzip # tqdm是进度条模块，为了便于观察处理进度
TEST_TOTAL = 10000 # 测试数量1万张
def test_raw():
print('raw: ')
pass_count = 0
# for _ in range(TEST_TOTAL):
for _ in trange(TEST_TOTAL):
try:
image_code = fetch_imgCode()
img = Image.open(f'./imgCode_png_raw/imgCode_{image_code}.png')
result = get_result_by_imgCode_recognition(img)
login_flag = login(image_code, result)
if login_flag:
img.save(f'./imgCode_png_raw_pass/imgCode_{image_code}_{result}.png')
pass_count += 1
else:
img.save(f'./imgCode_png_raw_fail/imgCode_{image_code}_{result}.png')
except:
info = sys.exc_info()
print(info)
print(f'pass_rate: {pass_count/TEST_TOTAL*100}')
def test_gray():
print('gray: ')
pass_count = 0
for _ in trange(TEST_TOTAL):
try:
image_code = fetch_imgCode()
img = Image.open(f'./imgCode_png_raw/imgCode_{image_code}.png')
img_gray = gray_processing(img, threshold=200)
result = get_result_by_imgCode_recognition(img_gray)
login_flag = login(image_code, result)
if login_flag:
img.save(f'./imgCode_png_raw_gray_pass/imgCode_{image_code}_{result}.png')
pass_count += 1
else:
img_gray.save(f'./imgCode_png_raw_gray_fail/imgCode_{image_code}_{result}.png')
except:
info = sys.exc_info()
print(info)
print(f'pass_rate: {pass_count/TEST_TOTAL*100}')
def test_erosion():
print('erosion: ')
pass_count = 0
for _ in trange(TEST_TOTAL):
try:
image_code = fetch_imgCode()
img = Image.open(f'./imgCode_png_raw/imgCode_{image_code}.png')
img_gray = gray_processing(img, threshold=200)
im = np.asarray(img_gray, np.uint8) # gray之后变成array，值变为0和1，有效去噪点
erosion = erode_dilate(im, threshold=2)
img1 = Image.fromarray(erosion*255) # 值为0到1，整个图片都是黑色的。
result = get_result_by_imgCode_recognition(img1) # 这里用array也可以
login_flag = login(image_code, result)
if login_flag:
img.save(f'./imgCode_png_raw_gray_erosion_pass/imgCode_{image_code}_{result}.png')
pass_count += 1
else:
img1.save(f'./imgCode_png_raw_gray_erosion_fail/imgCode_{image_code}_{result}.png')
except:
info = sys.exc_info()
print(info)
print(f'pass_rate: {pass_count/TEST_TOTAL*100}')测试结果
5. 成功示例的再识别测试
测试说明
将通过raw、gray、erosion识别测试正确的示例按照1:1:1的样本比例拷贝到imgCode_pass文件夹，此时的验证码样本都是有正确识别结果的，且数量一定和样本比例均衡，可以用三种处理方式进行再识别，比较三种处理方式的识别效果。
此次再识别测试的样本比例1:1:1，各8844张，共26532张。
测试代码
def test_pass_raw():
pass_list = os.listdir('./imgCode_pass')
pass_value_list = [img_file[-8:-4] for img_file in pass_list]
pass_cnt1 = 0
pass_amt = len(pass_list)
print(f'pass_amt: {pass_amt}')
# for img_file, img_value in zip(pass_list, pass_value_list):
for img_file, img_value in tzip(pass_list, pass_value_list):
# raw
img = Image.open(f'./imgCode_pass/{img_file}')
pass_cnt1 += pass_counter(img, img_value)
print(f'raw: \npass_rate:{pass_cnt1 / pass_amt * 100}')
def test_pass_gray():
pass_list = os.listdir('./imgCode_pass')
pass_value_list = [img_file[-8:-4] for img_file in pass_list]
pass_cnt2 = 0
pass_amt = len(pass_list)
print(f'pass_amt: {pass_amt}')
# for img_file, img_value in zip(pass_list, pass_value_list):
for img_file, img_value in tzip(pass_list, pass_value_list):
# raw
img = Image.open(f'./imgCode_pass/{img_file}')
# raw + grey200
img = gray_processing(img, threshold=200)
pass_cnt2 += pass_counter(img, img_value)
print(f'raw + grey200: \npass_rate:{pass_cnt2/pass_amt*100}')
def test_pass_erosion():
pass_list = os.listdir('./imgCode_pass')
pass_value_list = [img_file[-8:-4] for img_file in pass_list]
pass_cnt3 = 0
pass_amt = len(pass_list)
print(f'pass_amt: {pass_amt}')
# for img_file, img_value in zip(pass_list, pass_value_list):
for img_file, img_value in tzip(pass_list, pass_value_list):
# raw
img = Image.open(f'./imgCode_pass/{img_file}')
# raw + grey200
img = gray_processing(img, threshold=200)
# raw + grey200 + erosion
im = np.asarray(img, np.uint8) # gray之后变成array，值变为0和1，有效去噪点
erosion = erode_dilate(im, threshold=2)
img1 = Image.fromarray(erosion*255) # 值为0到1，整个图片都是黑色的。
pass_cnt3 += pass_counter(img1, img_value)
print(f'raw + grey200 + erosion(Image): \npass_rate:{pass_cnt3/pass_amt*100}')测试结果
测试注意事项
此次测试特别需要注意样本比例，如果样本全为通过raw识别测试正确的来进行再识别，使用raw方式将为100%识别正确。下图是使用大部分为raw识别成功的示例来进行再识别的结果，发现不同处理方式的识别模型的识别能力呈下降趋势，越接近raw识别模型的模型精度越好，反正越差。
6. 集成融合投票模型，并使用多进程机制运行程序
测试说明
基于不同的模型的识别效果不一，考虑集成学习的模型融合，使用投票法，通过raw、gray、erosion三种模型进行识别预测投票，将票数多的识别结果作为集成融合投票模型的识别结果，来进行登录验证。
基于集成融合投票模型需要对同一张验证码示例进行3次识别，比较耗时，故使用多进程机制并行地运行程序，减少程序所消耗的时间。
测试代码
def test_ensemble_vote(kwargs):
result_list = []
image_code = fetch_imgCode()
img = Image.open(f'./imgCode_png_raw/imgCode_{image_code}.png')
result_list.append(get_result_by_imgCode_recognition(img))
img_gray = gray_processing(img, threshold=200)
result_list.append(get_result_by_imgCode_recognition(img_gray))
im = np.asarray(img_gray, np.uint8) # gray之后变成array，值变为0和1，有效去噪点
erosion = erode_dilate(im, threshold=2)
img1 = Image.fromarray(erosion*255) # 值为0到1，整个图片都是黑色的。
result_list.append(get_result_by_imgCode_recognition(img1))
result = max(result_list, key=result_list.count)
login_flag = login(image_code, result)
return login_flag
def test_ensemble_vote_multi():
print('test_ensemble_vote_multi: ')
from multiprocessing import Pool
pool = Pool()
pool_result_list = pool.map(test_ensemble_vote, trange(TEST_TOTAL))
pool.close()
pool.terminate()
pool.join()
pass_count = pool_result_list.count(True)
print(f'pass_rate: {pass_count/TEST_TOTAL*100}')测试结果
单进程运行程序的结果
并行运行程序时的效果及结果
7. 失败示例的再识别
使用不同二值化阈值识别的融合投票模型对元模型（raw、gray或erosion）识别失败的例子进行再识别。
def test_fail():
## 单独一张图片，不同的二值化阈值，最频繁预测结果
# img = Image.open(f'./imgCode_fail/imgCode_16501101286728_359.png')
# img.show()
# result_list = []
# for i in trange(120,200,1):
# img_gray = gray_processing(img, threshold=i)
# img_gray.show()
# result = get_result_by_imgCode_recognition(img_gray)
# result_list.append(result)
# print(f'most_frequent(lst): {most_frequent(result_list)}')
## 多张图片，不同灰度阈值，最频繁预测结果，目的是寻找最佳阈值
fail_list = os.listdir('./imgCode_fail')
result_list_1 = []
for img_file in fail_list:
img = Image.open(f'./imgCode_fail/{img_file}')
result_list_2 = []
for i in trange(120,200,10):
img_gray = gray_processing(img, threshold=i)
result = get_result_by_imgCode_recognition(img_gray)
result_list_2.append(result)
result_list_1.append(result_list_2)
for img_file, lst in zip(fail_list, result_list_1):
print(f'{img_file}, most_frequent(lst): {most_frequent(lst)}')8.其他
文章来源：https://www.toymoban.com/news/detail-445853.html
文章来源地址https://www.toymoban.com/news/detail-445853.html
到了这里，关于Python使用pytesseract进行验证码图像识别的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！
