深度学习图像搜索算法-图像搜索引擎-Toy模板网

这篇具有很好参考价值的文章主要介绍了深度学习图像搜索算法-图像搜索引擎。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

深度学习图像搜索算法-图像搜索引擎

文章目录

0 简介

✍🏻作者简介：机器学习，深度学习，卷积神经网络处理，图像处理
🚀B站项目实战：https://space.bilibili.com/364224477
😄 如果文章对你有帮助的话，欢迎评论 💬点赞👍🏻 收藏 📂加关注+
🤵‍♂代码获取：@个人主页

1 前言

2 图像检索介绍

给定一个包含特定实例(例如特定目标、场景、建筑等)的查询图像，图像检索旨在从数据库图像中找到包含相同实例的图像。但由于不同图像的拍摄视角、光照、或遮挡情况不同，如何设计出能应对这些类内差异的有效且高效的图像检索算法仍是一项研究难题。

图像检索的典型流程首先，设法从图像中提取一个合适的图像的表示向量。其次，对这些表示向量用欧式距离或余弦距离进行最近邻搜索以找到相似的图像。最后，可以使用一些后处理技术对检索结果进行微调。可以看出，决定一个图像检索算法性能的关键在于提取的图像表示的好坏。

(1) 无监督图像检索

无监督图像检索旨在不借助其他监督信息，只利用ImageNet预训练模型作为固定的特征提取器来提取图像表示。

直觉思路由于深度全连接特征提供了对图像内容高层级的描述，且是“天然”的向量形式，一个直觉的思路是直接提取深度全连接特征作为图像的表示向量。但是，由于全连接特征旨在进行图像分类，缺乏对图像细节的描述，该思路的检索准确率一般。

利用深度卷积特征由于深度卷积特征具有更好的细节信息，并且可以处理任意大小的图像输入，目前的主流方法是提取深度卷积特征，并通过加权全局求和汇合(sum-pooling)得到图像的表示向量。其中，权重体现了不同位置特征的重要性，可以有空间方向权重和通道方向权重两种形式。

CroW 深度卷积特征是一个分布式的表示。虽然一个神经元的响应值对判断对应区域是否包含目标用处不大，但如果多个神经元同时有很大的响应值，那么该区域很有可能包含该目标。因此，CroW把特征图沿通道方向相加，得到一张二维聚合图，并将其归一化并根号规范化的结果作为空间权重。CroW的通道权重根据特征图的稀疏性定义，其类似于自然语言处理中TF-IDF特征中的IDF特征，用于提升不常出现但具有判别能力的特征。

Class weighted features 该方法试图结合网络的类别预测信息来使空间权重更具判别能力。具体来说，其利用CAM来获取预训练网络中对应各类别的最具代表性区域的语义信息，进而将归一化的CAM结果作为空间权重。

PWA PWA发现，深度卷积特征的不同通道对应于目标不同部位的响应。因此，PWA选取一系列有判别能力的特征图，将其归一化之后的结果作为空间权重进行汇合，并将其结果级联起来作为最终图像表示。

(2) 有监督图像检索

有监督图像检索首先将ImageNet预训练模型在一个额外的训练数据集上进行微调，之后再从这个微调过的模型中提取图像表示。为了取得更好的效果，用于微调的训练数据集通常和要用于检索的数据集比较相似。此外，可以用候选区域网络提取图像中可能包含目标的前景区域。

孪生网络(siamese network) 和人脸识别的思路类似，使用二元或三元(+±)输入，训练模型使相似样本之间的距离尽可能小，而不相似样本之间的距离尽可能大。

3 图像检索步骤

图像检索技术主要包含几个步骤，分别为：

4 应用实例

学长在这做了个图像检索器的demo，效果如下

工程代码：
深度学习图像搜索算法-图像搜索引擎,深度学习,搜索引擎,人工智能

关键代码：

# _*_ coding=utf-8 _*_
from math import sqrt
import cv2
import time
import os
import numpy as np
from scipy.stats.stats import  pearsonr
#配置项文件
import  pymysql
from config import *
from mysql_config import *
from utils import getColorVec, Bdistance

db = pymysql.connect(DB_addr, DB_user, DB_passwod, DB_name )

def query(filename):
    if filename=="":
        fileToProcess=input("输入子文件夹中图片的文件名")
    else:
        fileToProcess=filename
    #fileToProcess="45.jpg"
    if(not os.path.exists(FOLDER+fileToProcess)):
        raise RuntimeError("文件不存在")
    start_time=time.time()
    img=cv2.imread(FOLDER+fileToProcess)
    colorVec1=getColorVec(img)
    #流式游标处理
    conn = pymysql.connect(host=DB_addr, user=DB_user, passwd=DB_passwod, db=DB_name, port=3306,
                           charset='utf8', cursorclass = pymysql.cursors.SSCursor)
    leastNearRInFive=0

    Rlist=[]
    namelist=[]
    init_str="k"
    for one in range(0, MATCH_ITEM_NUM):
        Rlist.append(0)
        namelist.append(init_str)

    with conn.cursor() as cursor:
        cursor.execute("select name, featureValue from "+TABLE_NAME+" order by name")
        row=cursor.fetchone()
        count=1
        while row is not None:
            if row[0] == fileToProcess:
                row=cursor.fetchone()
                continue
            colorVec2=row[1].split(',')
            colorVec2=list(map(eval, colorVec2))
            R2=pearsonr(colorVec1, colorVec2)
            rela=R2[0]
            #R2=Bdistance(colorVec1, colorVec2)
            #rela=R2
            #忽略正负性
            #if abs(rela)&gt;abs(leastNearRInFive):
            #考虑正负
            if rela&gt;leastNearRInFive:
                index=0
                for one in Rlist:
                    if rela &gt;one:
                        Rlist.insert(index, rela)
                        Rlist.pop(MATCH_ITEM_NUM)
                        namelist.insert(index, row[0])
                        namelist.pop(MATCH_ITEM_NUM)
                        leastNearRInFive=Rlist[MATCH_ITEM_NUM-1]
                        break
                    index+=1
            count+=1
            row=cursor.fetchone()
    end_time=time.time()
    time_cost=end_time-start_time
    print("spend ", time_cost, ' s')
    for one in range(0, MATCH_ITEM_NUM):
        print(namelist[one]+"\t\t"+str(float(Rlist[one])))


if __name__ == '__main__':
    #WriteDb()
    #exit()
    query("")

效果
深度学习图像搜索算法-图像搜索引擎,深度学习,搜索引擎,人工智能

项目运行效果：