从零构建深度学习推理框架-1 简介和Tensor-Toy模板网

这篇具有很好参考价值的文章主要介绍了从零构建深度学习推理框架-1 简介和Tensor。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

源代码作者：https://github.com/zjhellofss

本文仅作为个人学习心得领悟，将原作品提炼，更加适合新手

什么是推理框架？

深度学习推理框架用于对已训练完成的神经网络进行预测，也就是说，能够将深度训练框架例如Pytorch、Tensorflow中定义的算法移植到中心侧和端侧，并高效执行。与训练框架不同的是，深度学习推理框架没有梯度反向传播功能，因为算法模型文件中的权重系数已经被固化，推理框架只需要读取、加载并完成对新数据的预测即可。

模型加载阶段

训练完成的模型被放置在两个文件中，一个是模型定义文件，一个是权重文件。

ONNX文件是将模型定义文件和权重文件合二为一的文件格式。

关于维度的预备知识

在Tensor张量中，共有三维数据进行顺序存放，分别是Channels(维度)，Rows(行高), Cols(行宽)，

三维矩阵我们可以看作多个连续的二维矩阵组成，最简单的方法就是std::vector<std::vector<std::vector<float>>>，但是这种方法非常不利于数据的访问（尤其是内存不连续的问题） 、修改以及查询，特别是在扩容的时候非常不方便。不能满足使用需求

不连续会造成数组访问慢的问题，在这里我用chrono做了测试：

#include<iostream>
#include <gtest/gtest.h>
#include <armadillo>
#include <glog/logging.h>
#include <vector>
#include <chrono>
#define TICK(x) auto bench_##x = std::chrono::steady_clock::now();
#define TOCK(x) std::cout << #x ": " << std::chrono::duration_cast<std::chrono::duration<double>>(std::chrono::steady_clock::now() - bench_##x).count() *1000000<< "ns" << std::endl;
using namespace std;
int m = 10000 , n = 10000 , channel = 2;
TEST(test_compare_vector , speed2D){
    LOG(INFO)<<"Test of vector & cube"<<endl;
    vector<vector<float>> matA (m , vector<float>(n , 1));
    TICK(2D);
    for (int  i = 0; i <matA.size(); i++)
    {
        for (int j = 0; j < matA[0].size(); j++)
        {
            matA[i][j] = matA[i][j]*matA[j][i];
        }
    }
    TOCK(2D);
        arma::fcube matB( m , n , 1 , arma::fill::ones);
    TICK(cube);
        for (int  i = 0; i <m; i++)
    {
        for (int j = 0; j < n; j++)
        {
            matB(i , j , 0) = matB(i , j , 0)*matB( j , i , 0);
        }
    }
    TOCK(cube);


}

因此，综合考虑灵活性和开发的难易度，作者在这里以Armadillo类中的arma::mat(矩阵 matrix)类和arma::cube 作为数据管理(三维矩阵)类来实现Tensor 库中类的主体，一个cube由多个matrix组成，cube又是Tensor类中的数据实际管理者。一块连续的大内存分配开始写一个tensor，工作量会特别大，折中！

作者设计的类是以arma::cube为基础实现了Tensor类，我们主要是提供了更方便的访问方式和对外接口。

从零构建深度学习推理框架-1 简介和Tensor,Infer,c++

上图即为Tensor与cube的对应关系。

从零构建深度学习推理框架-1 简介和Tensor,Infer,c++

cube一般有多个维度，在channel维度上有多个matrix。

arma::cube(2,5,3)，表示当前的三维矩阵共有2个矩阵构成，每个矩阵都是5行3列的。如果放在我们项目中会以这形式提供 Tensor tensor(2,5,3)

下图是这种情况下的三维结构图，可以看出一个Cube一共有两个Matrix，也就是共有两个Channel。一个Channel放一个Matrix. Matrix的行宽均为Rows和Cols.

从零构建深度学习推理框架-1 简介和Tensor,Infer,c++

Tensor类方法总览

从零构建深度学习推理框架-1 简介和Tensor,Infer,c++

这里的很多都不需要我们重新去造轮子

比如Fill(float value)就可以直接调用cube里的fill：
void Tensor<float>::Fill(float value) {
  CHECK(!this->data_.empty());
  this->data_.fill(value);
}

再比如这个at：

float &Tensor<float>::at(uint32_t channel, uint32_t row, uint32_t col) {
  CHECK_LT(row, this->rows());
  CHECK_LT(col, this->cols());
  CHECK_LT(channel, this->channels());
  return this->data_.at(row, col, channel);
}

再难一些的就需要我们自己去实现了：

Fill(vector)方法实现：

TEST(test_tensor, fill) {
  using namespace kuiper_infer;
  Tensor<float> tensor(3, 3, 3);
  ASSERT_EQ(tensor.channels(), 3);
  ASSERT_EQ(tensor.rows(), 3);
  ASSERT_EQ(tensor.cols(), 3);

  std::vector<float> values;
  for (int i = 0; i < 27; ++i) {
    values.push_back((float) i);
  }
  tensor.Fill(values);
  LOG(INFO) << tensor.data();

  int index = 0;
  for (int c = 0; c < tensor.channels(); ++c) {
    for (int r = 0; r < tensor.rows(); ++r) {
      for (int c_ = 0; c_ < tensor.cols(); ++c_) {
        ASSERT_EQ(values.at(index), tensor.at(c, r, c_));
        index += 1;
      }
    }
  }
  LOG(INFO) << "Test1 passed!";
}

padding功能实现：

文章来源地址https://www.toymoban.com/news/detail-606183.html


TEST(test_tensor, padding1) {
  using namespace kuiper_infer;
  Tensor<float> tensor(3, 3, 3);
  ASSERT_EQ(tensor.channels(), 3);
  ASSERT_EQ(tensor.rows(), 3);
  ASSERT_EQ(tensor.cols(), 3);

  tensor.Fill(1.f); // 填充为1
  tensor.Padding({1, 1, 1, 1}, 0); // 边缘填充为0
  ASSERT_EQ(tensor.rows(), 5);
  ASSERT_EQ(tensor.cols(), 5);
  int index = 0;
  // 检查一下边缘被填充的行、列是否都是0
  for (int c = 0; c < tensor.channels(); ++c) {
    for (int r = 0; r < tensor.rows(); ++r) {
      for (int c_ = 0; c_ < tensor.cols(); ++c_) {
        if (c_ == 0 || r == 0) {
          ASSERT_EQ(tensor.at(c, r, c_), 0);
        }
        index += 1;
      }
    }
  }
  LOG(INFO) << "Test2 passed!";
}

再谈谈Tensor类中数据的排布

我们以具体的图片作为例子，来讲讲Tensor中数据管理类arma::cube的数据排布方式，Tensor类是arma::cube对外更方便的接口，所以说armadillo::cube怎么管理内存的，Tensor类就是怎么管理内存的。希望大家的能理解到位。如下图中的一个Cube，Cube的维度是2,每个维度上存放的是一个Matrix，一个Matrix中的存储空间被用来存放一张图像（lena）。一个框内（channel）是一个Matrix，Matrix1存放在Cube第1维度(channel 1)上，Matrix2存放在Cube的第2维度上(channel 2). Matrix1和Matrix2的Rows和Cols均代表着图像的高和宽，在本例中就是512和384。

从零构建深度学习推理框架-1 简介和Tensor,Infer,c++