1. Toy模板网首页
  2. > Toy博客

TensorFlow项目练手（二）——猫狗熊猫的分类任务

9月前 作者：许英俊潇洒 分类：Toy博客 阅读(30) 违法举报

这篇具有很好参考价值的文章主要介绍了TensorFlow项目练手（二）——猫狗熊猫的分类任务。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

项目介绍

通过猫狗熊猫图片来对图片进行识别，分类出猫狗熊猫的概率，文章会分成两部分，从基础网络模型->利用卷积网络经典模型Vgg。

基础网络模型

基础的网络模型主要是用全连接层来分类，比较经典的方法，也是祖先最先使用的方法，目前已经在这类问题上，被卷积网络模型所替代，学习这部分是为了可以了解到最简单的分类任务的写法。

一、准备数据
  • 准备猫狗熊猫的训练数据集，各自1000张图片，分别放在/train/cats，/train/dogs，/train/panda
  • 准备猫狗熊猫的测试数据集，各5-10张，统一放在/test目录下，后续通过随机取出来测试

TensorFlow项目练手（二）——猫狗熊猫的分类任务,tensorflow,分类,人工智能
TensorFlow项目练手（二）——猫狗熊猫的分类任务,tensorflow,分类,人工智能

TensorFlow项目练手（二）——猫狗熊猫的分类任务,tensorflow,分类,人工智能

二、开始编写

1、获取数据

数据的获取主要包含2部分

  1. 先读取图片数据
  2. 对图片数据进行预处理
import tensorflow as tf
from tensorflow.keras import initializers
from tensorflow.keras import regularizers
from tensorflow.keras import layers

from keras.models import load_model
from keras.models import Sequential
from keras.layers import Dropout
from keras.layers.core import Dense
from keras.optimizers import SGD
from sklearn.preprocessing import LabelBinarizer
from sklearn.metrics import classification_report
lb = LabelBinarizer()

import matplotlib.pyplot as plt
import random
import os
import numpy as np
np.set_printoptions(threshold=10000)
import cv2
import pickle

# 遍历所有文件名
def findAllFile(base):
    for root, ds, fs in os.walk(base):
        for f in fs:
            yield f

# 数据切分
def split_train(data,label,test_ratio):
    np.random.seed(43)
    shuffled_indices=np.random.permutation(len(data))
    test_set_size=int(len(data)*test_ratio)
    test_indices =shuffled_indices[:test_set_size]
    train_indices=shuffled_indices[test_set_size:]
    return data[train_indices],data[test_indices],label[train_indices],label[test_indices]

image_dir = ("./train/cats/", "./train/dogs/", "./train/panda/")
image_path = []
data = []
labels = []

# 读取图像路径
for path in image_dir:
    for i in findAllFile(path):
        image_path.append(path+i)

# 随机化数据
random.seed(43)
random.shuffle(image_path)

# 读取图像数据，读取label文件名数据
for j in image_path:
    image = cv2.imread(j)
    image = cv2.resize(image,(32,32)).flatten()
    data.append(image)
    label = j.split("/")[-2]
    labels.append(label)

# 数据预处理：规格化数据
data = np.array(data,dtype="float") / 255.0
labels = np.array(labels)
# 数据切分
(trainX,testX,trainY,testY) = split_train(data,labels,test_ratio=0.25)
# 将cat、dog、panda规格化数据
trainY = lb.fit_transform(trainY)
testY = lb.fit_transform(testY)

# 最终数据结果
print(trainX)
print(data)
print(data.shape) # (3000, 3072)，32x32x3=3072，其图片3通道被拉长成一条操作
print(lb.classes_) # ['cats' 'dogs' 'panda']

将所有图片读取，并保存他们的数据集数据和训练结果，每张图片都会被规整到32x32并且进行拉长操作flatten()，最终输出的数据是一组图片的RGB数据

  • 数据集：我们将数据进行切分，25%作为验证集，75%数据作为训练集
  • 训练结果（label）：我们按照文件名上进行分割，分割出对应的名字作为label

TensorFlow项目练手（二）——猫狗熊猫的分类任务,tensorflow,分类,人工智能

2、构建网络模型

  • 网络模型：采用全连接层
  • 优化器：使用梯度下降法SGD
  • 损失函数：使用分类算法
  • 权重初始化：高斯截断分布函数
# 2、创建模型层
EPOCHS = 200
model = Sequential()
model.add(Dense(512,input_shape=(3072,),activation="relu",kernel_initializer = initializers.TruncatedNormal(mean=0.0, stddev=0.05, seed=None)))
model.add(Dropout(0.5))
model.add(Dense(256,activation="relu",kernel_initializer = initializers.TruncatedNormal(mean=0.0, stddev=0.05, seed=None)))
model.add(Dropout(0.5))
model.add(Dense(len(lb.classes_),activation="softmax",kernel_initializer = initializers.TruncatedNormal(mean=0.0, stddev=0.05, seed=None)))
# 损失函数和优化器，正则惩罚
model.compile(loss="categorical_crossentropy", optimizer=SGD(lr=0.001),metrics=["accuracy"])
H = model.fit(trainX, trainY, validation_data=(testX, testY),epochs=EPOCHS, batch_size=32)

TensorFlow项目练手（二）——猫狗熊猫的分类任务,tensorflow,分类,人工智能

3、模型评估

模型训练后之后，对模型进行评估，可以看到当前的分类情况

# 3、模型评估
predictions = model.predict(testX, batch_size=32)
print(classification_report(testY.argmax(axis=1),predictions.argmax(axis=1), target_names=lb.classes_))

TensorFlow项目练手（二）——猫狗熊猫的分类任务,tensorflow,分类,人工智能

4、数据可视化

将数据绘制在图上，看看其训练和预测的准确率情况，并将其保存起来

# 4、数据可视化
N = np.arange(0, EPOCHS)
plt.style.use("ggplot")
plt.figure()
plt.plot(N, H.history["loss"], label="train_loss")
plt.plot(N, H.history["val_loss"], label="val_loss")
plt.plot(N, H.history["accuracy"], label="train_acc")
plt.plot(N, H.history["val_accuracy"], label="val_acc")
plt.title("Training Loss and Accuracy (Simple NN)")
plt.xlabel("Epoch #")
plt.ylabel("Loss/Accuracy")
plt.legend()
plt.savefig("./plot.png")

TensorFlow项目练手（二）——猫狗熊猫的分类任务,tensorflow,分类,人工智能

5、保存模型

# 5、保存模型到本地
model.save("./model")
f = open("./label.pickle", "wb")
f.write(pickle.dumps(lb))
f.close()

6、结果输出预测

随机获取测试集中的图片，对数据进行预处理后，进行预测，将结果显示出来

# 6、测试模型
test_image_dir =  "./test/"
test_image_path = []
for i in findAllFile(test_image_dir):
    test_image_path.append(test_image_dir+i)
test_image = random.sample(test_image_path, 1)[0]

# 数据预处理
image = cv2.imread(test_image)
output = image.copy()
image = image.astype("float") / 255.0
image = cv2.resize(image,(32,32)).flatten()
image = image.reshape((1, image.shape[0]))

# 加载模型
model = load_model("./model")
lb = pickle.loads(open("./label.pickle", "rb").read())
# 开始预测
preds = model.predict(image)

# 查看预测结果
text1 = "{}: {:.2f}% ".format(lb.classes_[0], preds[0][0] * 100)
text2 = "{}: {:.2f}% ".format(lb.classes_[1], preds[0][1] * 100)
text3 = "{}: {:.2f}% ".format(lb.classes_[2], preds[0][2] * 100)
cv2.putText(output, text1, (10, 30), cv2.FONT_HERSHEY_SIMPLEX, 0.7,(0, 0, 255), 2)
cv2.putText(output, text2, (10, 80), cv2.FONT_HERSHEY_SIMPLEX, 0.7,(0, 0, 255), 2)
cv2.putText(output, text3, (10, 120), cv2.FONT_HERSHEY_SIMPLEX, 0.7,(0, 0, 255), 2)
cv2.imshow("Image", output)
cv2.waitKey(0)

通过我们的测试集合看出来，其准确率还是有点不尽如意，主要是数据集较小，且训练次数不足的原因导致

TensorFlow项目练手（二）——猫狗熊猫的分类任务,tensorflow,分类,人工智能

vgg模型

在后续的技术迭代中，卷积神经网络基本上已经覆盖了图像识别技术，使用卷积神经网络结合vgg的架构，可以更准确地提高准确率

一、准备数据

跟上面基础模型一样，所有数据都是一样的

二、开始编写

1、获取数据

获取数据的代码跟基础网络模型完全一致，唯一区别在于# image = cv2.resize(image,(32,32)).flatten() # 将图片resize到64，且去掉拉长操作

import tensorflow as tf
from tensorflow.keras import initializers
from tensorflow.keras import regularizers
from tensorflow.keras import layers

from keras.models import load_model
from keras.models import Sequential
from keras.layers import Dropout
from keras.layers.core import Dense
from keras.optimizers import SGD
from sklearn.preprocessing import LabelBinarizer
from sklearn.metrics import classification_report
lb = LabelBinarizer()

import matplotlib.pyplot as plt
import random
import os
import numpy as np
np.set_printoptions(threshold=10000)
import cv2
import pickle

# 遍历所有文件名
def findAllFile(base):
    for root, ds, fs in os.walk(base):
        for f in fs:
            yield f

# 数据切分
def split_train(data,label,test_ratio):
    np.random.seed(43)
    shuffled_indices=np.random.permutation(len(data))
    test_set_size=int(len(data)*test_ratio)
    test_indices =shuffled_indices[:test_set_size]
    train_indices=shuffled_indices[test_set_size:]
    return data[train_indices],data[test_indices],label[train_indices],label[test_indices]

image_dir = ("./train/cats/", "./train/dogs/", "./train/panda/")
image_path = []
data = []
labels = []

# 1、数据预处理
# 读取图像路径
for path in image_dir:
    for i in findAllFile(path):
        image_path.append(path+i)

# 随机化数据
random.seed(43)
random.shuffle(image_path)

# 读取图像数据，读取label文件名数据
for j in image_path:
    image = cv2.imread(j)
    image = cv2.resize(image,(64,64))
    # image = cv2.resize(image,(32,32)).flatten() # 将图片resize到64，且去掉拉长操作
    data.append(image)
    label = j.split("/")[-2]
    labels.append(label)

# 规格化数据
data = np.array(data,dtype="float") / 255.0
labels = np.array(labels)
# 数据切分
(trainX,testX,trainY,testY) = split_train(data,labels,test_ratio=0.25)
# 将cat、dog、panda规格化数据
trainY = lb.fit_transform(trainY)
testY = lb.fit_transform(testY)

# 最终数据结果
print(trainX)
print(data)
print(data.shape) # (3000, 3072)，32x32x3=3072，其图片3通道被拉长成一条操作
print(lb.classes_) # ['cats' 'dogs' 'panda']

2、构建网络模型

采用vgg的框架，搭建最简单的vgg层数的网络模型

from keras.models import Sequential
from keras.layers.normalization.batch_normalization_v1 import BatchNormalization
from keras.layers.convolutional import Conv2D
from keras.layers.convolutional import MaxPooling2D
from keras.initializers import TruncatedNormal
from keras.layers.core import Activation
from keras.layers.core import Flatten
from keras.layers.core import Dropout
from keras.layers.core import Dense


model = Sequential()
chanDim = 1
inputShape = (64, 64, 3)

model.add(Conv2D(32, (3, 3), padding="same",input_shape=inputShape))
model.add(Activation("relu"))
model.add(BatchNormalization(axis=chanDim))
model.add(MaxPooling2D(pool_size=(2, 2)))
#model.add(Dropout(0.25))

# (CONV => RELU) * 2 => POOL 
model.add(Conv2D(64, (3, 3), padding="same"))
model.add(Activation("relu"))
model.add(BatchNormalization(axis=chanDim))
model.add(Conv2D(64, (3, 3), padding="same"))
model.add(Activation("relu"))
model.add(BatchNormalization(axis=chanDim))
model.add(MaxPooling2D(pool_size=(2, 2)))
#model.add(Dropout(0.25))

# (CONV => RELU) * 3 => POOL 
model.add(Conv2D(128, (3, 3), padding="same"))
model.add(Activation("relu"))
model.add(BatchNormalization(axis=chanDim))
model.add(Conv2D(128, (3, 3), padding="same"))
model.add(Activation("relu"))
model.add(BatchNormalization(axis=chanDim))
model.add(Conv2D(128, (3, 3), padding="same"))
model.add(Activation("relu"))
model.add(BatchNormalization(axis=chanDim))
model.add(MaxPooling2D(pool_size=(2, 2)))
#model.add(Dropout(0.25))

# FC层
model.add(Flatten())
model.add(Dense(512))
model.add(Activation("relu"))
model.add(BatchNormalization())
#model.add(Dropout(0.6))

# softmax 分类,kernel_initializer=TruncatedNormal(mean=0.0, stddev=0.01)
model.add(Dense(len(lb.classes_)))
model.add(Activation("softmax"))

# 损失函数和优化器，正则惩罚
EPOCHS = 200
model.compile(loss="categorical_crossentropy", optimizer=SGD(lr=0.001),metrics=["accuracy"])
H = model.fit(trainX, trainY, validation_data=(testX, testY),epochs=EPOCHS, batch_size=32)

TensorFlow项目练手（二）——猫狗熊猫的分类任务,tensorflow,分类,人工智能

3、数据可视化

同样的操作，将数据绘制在图上，看看其训练和预测的准确率情况，并将其保存起来

# 4、数据可视化
N = np.arange(0, EPOCHS)
plt.style.use("ggplot")
plt.figure()
plt.plot(N, H.history["loss"], label="train_loss")
plt.plot(N, H.history["val_loss"], label="val_loss")
plt.plot(N, H.history["accuracy"], label="train_acc")
plt.plot(N, H.history["val_accuracy"], label="val_acc")
plt.title("Training Loss and Accuracy (Simple NN)")
plt.xlabel("Epoch #")
plt.ylabel("Loss/Accuracy")
plt.legend()
plt.savefig("./plot.png")

TensorFlow项目练手（二）——猫狗熊猫的分类任务,tensorflow,分类,人工智能

4、保存模型

# 5、保存模型到本地
model.save("./model")
f = open("./label.pickle", "wb")
f.write(pickle.dumps(lb))
f.close()

5、结果输出预测

同样的操作，唯一的区别在于

  • # image = cv2.resize(image,(32,32)).flatten() #不拉平，且改为64x64
  • # image = image.reshape((1, image.shape[0])) #数据改为数组
# 6、测试模型
test_image_dir =  "./test/"
test_image_path = []
for i in findAllFile(test_image_dir):
    test_image_path.append(test_image_dir+i)
test_image = random.sample(test_image_path, 1)[0]

# 数据预处理
image = cv2.imread(test_image)
output = image.copy()
image = image.astype("float") / 255.0
# image = cv2.resize(image,(32,32)).flatten() #不拉平，且改为64x64
# image = image.reshape((1, image.shape[0])) #数据改为数组
image = cv2.resize(image,(64,64))
image = image.reshape((1, image.shape[0], image.shape[1], image.shape[2]))

# 加载模型
model = load_model("./model")
lb = pickle.loads(open("./label.pickle", "rb").read())
# 开始预测
preds = model.predict(image)

# 查看预测结果
text1 = "{}: {:.2f}% ".format(lb.classes_[0], preds[0][0] * 100)
text2 = "{}: {:.2f}% ".format(lb.classes_[1], preds[0][1] * 100)
text3 = "{}: {:.2f}% ".format(lb.classes_[2], preds[0][2] * 100)
cv2.putText(output, text1, (10, 30), cv2.FONT_HERSHEY_SIMPLEX, 0.7,(0, 0, 255), 2)
cv2.putText(output, text2, (10, 80), cv2.FONT_HERSHEY_SIMPLEX, 0.7,(0, 0, 255), 2)
cv2.putText(output, text3, (10, 120), cv2.FONT_HERSHEY_SIMPLEX, 0.7,(0, 0, 255), 2)
cv2.imshow("Image", output)
cv2.waitKey(0)

通过我们的结果展示，可以发现分类的精准度可以达到80-90%以上，说明这个模型是比基础网络模型50%左右的准确度好很多，但是，也会精准的分类错误，原因在于我们只有1000的数据集，比较容易分类错误，当然你的数据量越大，就可以解决当前的问题。
TensorFlow项目练手（二）——猫狗熊猫的分类任务,tensorflow,分类,人工智能文章来源地址https://www.toymoban.com/news/detail-529224.html

源代码

  • 源码查看

到了这里，关于TensorFlow项目练手（二）——猫狗熊猫的分类任务的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处： 如若内容造成侵权/违法违规/事实不符，请点击违法举报进行投诉反馈，一经查实，立即删除！

分享到：
领支付宝红包 赞助服务器费用

相关文章

  • Python深度学习实战-基于tensorflow原生代码搭建BP神经网络实现分类任务（附源码和实现效果）

    Python深度学习实战-基于tensorflow原生代码搭建BP神经网络实现分类任务（附源码和实现效果）

            前面两篇文章分别介绍了两种搭建神经网络模型的方法，一种是基于tensorflow的keras框架，另一种是继承父类自定义class类，本篇文章将编写原生代码搭建BP神经网络。 本人读研期间发表5篇SCI数据挖掘相关论文，现在某研究院从事数据挖掘相关科研工作，对数据挖掘

    2024年02月08日
    浏览(52)
  • TensorFlow图像多标签分类实例

    TensorFlow图像多标签分类实例

    接下来，我们将从零开始讲解一个基于TensorFlow的图像多标签分类实例，这里以图片验证码为例进行讲解。 在我们访问某个网站的时候，经常会遇到图片验证码。图片验证码的主要目的是区分爬虫程序和人类，并将爬虫程序阻挡在外。 下面的程序就是模拟人类识别验证码，从

    2024年02月08日
    浏览(48)
  • TensorFlow Core—基本分类：对服装图像进行分类

    TensorFlow Core—基本分类：对服装图像进行分类

        现在人工智能很火的，看到了这篇文章，给自己普及一下基础知识，也分享给大家，希望对大家有用。 本指南将训练一个神经网络模型，对运动鞋和衬衫等服装图像进行分类。即使您不理解所有细节也没关系；这只是对完整 TensorFlow 程序的快速概述，详细内容会在您实际

    2024年02月10日
    浏览(38)

  • TensorFlow二元-多类-多标签分类示例

    探索不同类型的分类模型，使用 TensorFlow 构建二元、多类和多标签分类器。 简述 逻辑回归 二元交叉熵 二元分类架构 案例：逻辑回归预测获胜团队 简述 Softmax 函数 分类交叉熵 多类分类架构 案例：预测航天飞机散热器位置 案例：创建字符识别模型 案例：构建电影类型标签

    2024年02月11日
    浏览(56)
  • TensorFlow入门(十九、softmax算法处理分类问题)

    TensorFlow入门(十九、softmax算法处理分类问题)

    softmax是什么?         Sigmoid、Tanh、ReLU等激活函数,输出值只有两种(0、1,或-1、1或0、x),而实际现实生活中往往需要对某一问题进行多种分类。例如之前识别图片中模糊手写数字的例子,这个时候就需要使用softmax算法。 softmax的算法逻辑          如果判断输入属于某一个类

    2024年02月07日
    浏览(27)
  • RK3568笔记四：基于TensorFlow花卉图像分类部署

    RK3568笔记四：基于TensorFlow花卉图像分类部署

    若该文为原创文章，转载请注明原文出处。 基于正点原子的ATK-DLRK3568部署测试。 花卉图像分类任务，使用使用 tf.keras.Sequential 模型，简单构建模型，然后转换成 RKNN 模型部署到ATK-DLRK3568板子上。 在 PC 使用 Windows 系统安装 tensorflow，并创建虚拟环境进行训练，然后切换到VM下

    2024年02月07日
    浏览(51)
  • 第61步 深度学习图像识别：多分类建模（TensorFlow）

    第61步 深度学习图像识别：多分类建模（TensorFlow）

    一、写在前面 截至上期，我们一直都在做二分类的任务，无论是之前的机器学习任务，还是最近更新的图像分类任务。然而，在实际工作中，我们大概率需要进行多分类任务。例如肺部胸片可不仅仅能诊断肺结核，还有COVID-19、细菌性（病毒性）肺炎等等，这就涉及到图像识

    2024年02月11日
    浏览(39)
  • 【tensorflow框架神经网络实现MNIST分类_Keras】

    【tensorflow框架神经网络实现MNIST分类_Keras】

    2024年04月15日
    浏览(42)
  • TensorFlow-slim包进行图像数据集分类---具体流程

    TensorFlow-slim包进行图像数据集分类---具体流程

    本次使用的TensorFlow版本是1.13.0 地址：https://github.com/tensorflow/models/tree/r1.13.0 到tensorflow-models的GitHub下载research下面的slim这个包到本地 TensorFlow中slim包的目录结构： scripts/finetune_resnet_v1_50_on_flowers.sh 以上文件以下载并打包flowers数据集为例会调用slim/datasets下的****download_and_conve

    2024年02月11日
    浏览(37)
  • TensorFlow学习：使用官方模型和自己的训练数据进行图片分类

    TensorFlow学习：使用官方模型和自己的训练数据进行图片分类

    教程来源：清华大佬重讲机器视觉！TensorFlow+Opencv：深度学习机器视觉图像处理实战教程，物体检测/缺陷检测/图像识别 注： 这个教程与官网教程有些区别，教程里的api比较旧，核心思想是没有变化的。 上一篇文章 TensorFlow学习：使用官方模型进行图像分类、使用自己的数据

    2024年02月08日
    浏览(45)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包，优惠每天领

二维码1

领取红包

二维码2

领红包