基于opencv的模式识别——水果类别识别与计数-Toy模板网

这篇具有很好参考价值的文章主要介绍了基于opencv的模式识别——水果类别识别与计数。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

非常感谢那些有趣而又认真无私地在为知识普及做出贡献的网络博主们。

此处特别感谢bilibili博主啥都会一点的研究生、CSDN博主YouCans、Pysource 博主Serjo以及freeCodeCamp.org将我真正带进了基于Python与Opencv库的计算机视觉领域的启蒙大门。

一、项目概述

基于Pycharm编程平台与opencv开源库实现水果种类的简单识别与计数，识别样本来自实验小组拍摄。识别样本包括香蕉、苹果、柠檬、猕猴桃、红提以及橘子，拍摄角度涉及三方向拍摄（俯视、正视、侧视）。

二、简单的知识分享

（一）RGB颜色空间

空间模型

对图像处理而言，RGB是最为重要和常见的颜色模型，它建立在笛卡尔坐标系中，以红、绿、蓝三种基本色为基础，进行不同程度的叠加，产生丰富而广泛的颜色，俗称三基色模式。

RGB颜色空间是用一个单位长度的立方体来表示颜色的，黑蓝绿青红紫黄白8种常见颜色分别位居立方体的8个顶点，通常将黑色置于三维直角坐标系的原点，红绿蓝分别置于3根坐标轴上，整个立方体放在第一卦限内。青色与红色、紫色与绿色、黄色与蓝色是互补色。RGB各参数的取值范围是：R（0-255）、G（9-255）、B（0-255）。参数值也称为三色系数或基色系数或颜色值，除以255后归一到0-1之间，但不是无穷多个而是有限多个值。由于红绿蓝分量全部组合起来可表示很多不同的颜色，它比人眼能分辨的颜色种类多得多。

表达方式

RGB空间是最常用的彩色信息表达方式，使用红、绿、蓝三原色的亮度来定量表示颜色，是以RGB三色光互相叠加来实现混色的方式。三种颜色所占比例不同，得到的颜色就不同。任何一种颜色在RGB颜色空间种都可以用三维空间中的一个点来表示。

F=r[R]+g[G]+b[B]

色度学规则：

1、通过RGB这三种颜色能产生任何颜色，并且这三种颜色混合后产生的颜色是唯一的；

2、如果两个颜色相等，这三个颜色分量再乘以或者除以相同的数，得到的颜色仍然相等；

3、混合色的亮度等于每种颜色亮度的和。

（二）HSV颜色空间

HSV（Hue，Saturation，Value）是根据颜色的直观特性由A.R.Smith在1978年创建的一种颜色空间，也称六角锥体模型。六边形边界表示色彩，水平轴表示颜色纯度，明亮度沿垂直轴测量。

色调（H）：用角度度量，取值范围为0-360°，从红色开始按逆时针方向计算，红色为0°，绿色为120°，蓝色为240°。它们的补色是：黄色为60°，青色为180°，紫色为300°。

饱和度（S）:饱和度S表示颜色接近光谱色的程度。一种颜色，可以看成是某种光谱色与白色混合的结果。其中光谱色所占的比例愈大，颜色接近光谱色的程度就愈高，颜色的饱和度也就愈高。饱和度高，颜色则深而艳。光谱色的白光成分为零，饱和度达到最高。通常取值范围为0%-100%，值越大，颜色越饱和。

明亮度（V）：明度表示颜色明亮的程度，对于光源色，明度值与发光体的光亮度有关。对于物体色，此值和物体的透射比和反射比有关。

基于opencv的模式识别——水果类别识别与计数

（三）固定像素大小格式

VGA =640×480

HD = 1280×720

FHD=1920×1080

4K=3840×2160

（四）高斯模糊与开闭运算的作用

在提取目标的时候，我们通常首先对原图像做一个高斯模糊操作，这是起到了减少图像噪声以及增强图像在不同比例大小下的图像效果；那么开闭运算通常是在获取到二值图像的边界信息后进行，这是主要起到了封闭提取目标边界的作用。

对于目标物轮廓等几何信息的获取来说，通常如何检验与封闭几何边界是最为重要的操作。

三、识别流程

基于opencv的模式识别——水果类别识别与计数

四、实验数据分析

（一）切割提取对比

基于opencv的模式识别——水果类别识别与计数

图一苹果、香蕉、葡萄二值原图

基于opencv的模式识别——水果类别识别与计数

图二柠檬、橘子、猕猴桃二值原图

基于opencv的模式识别——水果类别识别与计数

图三基于原图的掩膜

（二）数据分析折线

基于opencv的模式识别——水果类别识别与计数

图四不同水果类内HSV值差异

基于opencv的模式识别——水果类别识别与计数

图五不同水果间Sat饱和度指标平均值差异

基于opencv的模式识别——水果类别识别与计数

图六二值腐蚀一次处理后不同水果间几何特征差异

基于opencv的模式识别——水果类别识别与计数图七目标水果RGB波段的均值与均方根

基于opencv的模式识别——水果类别识别与计数

图八多目标差异观察曲线

五、项目代码

import math
import cv2
import numpy as np

# 数据预处理函数
def preProcess(Img):
    # 调整图片长宽像素比调整显示大小
    # 列为600行为400
    OriResize = cv2.resize(Img, (600, 400))
    # 转HSV颜色空间利用饱和度去除白色背景
    HSV = cv2.cvtColor(OriResize, cv2.COLOR_BGR2HSV)
    # 通过实验发现所使用背景可利用s_min=35的饱和度去除
    lower = np.array([0, 35, 0])
    upper = np.array([179, 255, 255])
    mask = cv2.inRange(HSV, lower, upper)
    # 进行高斯模糊
    blur = cv2.GaussianBlur(mask, (7, 7), 1)
    # 利用canny算子提取边缘
    canny = cv2.Canny(blur, 50, 50)
    # 进行一次闭运算,去除杂点
    kenel = np.ones((3, 3))
    mask1 = cv2.dilate(canny, kenel, iterations=1)
    mask2 = cv2.erode(mask1, kenel, iterations=1)
    return OriResize, mask2, blur


# 读入群体识别目标图
IMGpath = "Resources/all5.JPG"
OriImg = cv2.imread(IMGpath)
# 数据预处理
Ryuanshi, bianyuan, Obinary = preProcess(OriImg)
# 为RGB提取做原始数据备份
RYcopy = np.copy(Ryuanshi)
# 获取多目标轮廓信息
contours, hierarchy = cv2.findContours(bianyuan, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_NONE)
# 利用约束规则与自设近似模型评价识别
for cnt in contours:
    # 利用封闭面积去除小区域边界影响，获取精确目标边界
    area = cv2.contourArea(cnt)
    if area < 100:
        continue
    else:
        # 构建特征向量
        feature = []
        # 未识别出的目标标识 unclassic
        objectType = "unclassic"
        # 判别模型
        # 第一步：获取面积与周长的比值
        pri = cv2.arcLength(cnt, True)
        div = area/pri
        feature.append(div)
        # 第二步：获取R，G，B信息
        # 将边界的点集利用DP算法压缩且保证误差在0.02倍周长内，假定边界闭合,获取最小外接矩形的左上坐标与长宽
        approx = cv2.approxPolyDP(cnt, 0.02 * pri, True)
        x, y, k, h = cv2.boundingRect(approx)
        # 加入定位框比
        if k > h:
            feature.append(k/h)
        else:
            feature.append(h/k)
        # 查看坐标
        print(x, y)
        MultOJ = cv2.bitwise_and(RYcopy, RYcopy, mask=Obinary)
        Bg, Gg, Rg = cv2.split(RYcopy)
        B, G, R = cv2.split(MultOJ)
        # 取背景板值样本
        udB = 0
        udG = 0
        udR = 0
        for i in range(10):
            for j in range(10):
                udB += Bg[j, i]
                udG += Gg[j, i]
                udR += Rg[j, i]
        udB /= 100
        udG /= 100
        udR /= 100
        # 正式开始获取颜色特征
        fMB = 0
        fMG = 0
        fMR = 0
        Rcount = 0
        for i in range(x, x+k):
            for j in range(y, y+h):
                if udB-8<B[j, i]<udB+8 and udG-8<G[j, i]<udG+8 and udR-8<R[j, i]<udR+8:
                    continue
                else:
                    fMB += B[j, i]
                    fMG += G[j, i]
                    fMR += R[j, i]
                    Rcount += 1
        fMB /= Rcount
        fMG /= Rcount
        fMR /= Rcount
        feature.append(fMB)
        feature.append(fMG)
        feature.append(fMR)
        # 求解方差
        fcB = 0
        fcG = 0
        fcR = 0
        for i in range(x, x+k):
            for j in range(y, y+h):
                if udB-8<B[j, i]<udB+8 and udG-8<G[j, i]<udG+8 and udR-8<R[j, i]<udR+8:
                    continue
                else:
                    fcB += pow((B[j, i]-fMB), 2)
                    fcG += pow((G[j, i] - fMG), 2)
                    fcR += pow((R[j, i] - fMR), 2)
        fcB = math.sqrt(fcB/Rcount)
        fcG = math.sqrt(fcG/Rcount)
        fcR = math.sqrt(fcR/Rcount)
        feature.append(fcB)
        feature.append(fcG)
        feature.append(fcR)
        # 特征查看检验处
        print(feature)
        # 利用特征开始进行判别
        if feature[1] > 1.2:
            if abs(feature[2]-feature[3]) <4:
                objectType = "grape"
            else:
               objectType = "banana"
        else:
            if abs(feature[2]-feature[3]) <4:
                objectType = "apple"
            else:
                if feature[7]-feature[5]>8 and feature[7]-feature[6]>8:
                    objectType = "orange"
                else:
                    objectType = "kiwifruit"
        # 绘制最小外接矩形与其对应边界框
        cv2.drawContours(Ryuanshi, cnt, -1, (0, 0, 255), 1)
        cv2.rectangle(Ryuanshi, (x, y), (x + k, y + h), (0, 255, 0))
        # 将目标物的类别显示于目标物的最小外接矩形框的左上角附近
        cv2.putText(Ryuanshi, objectType, (x-5, y-5), cv2.FONT_HERSHEY_COMPLEX, 0.5, (255, 0, 0), 1)
# 显示识别结果
cv2.imshow("Ryuanshi1", Ryuanshi)
cv2.waitKey(0)