AI模型互通的新开放生态系统ONNX介绍与实践

这篇具有很好参考价值的文章主要介绍了AI模型互通的新开放生态系统ONNX介绍与实践。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。


onnx amd,机器学习,人工智能

导读

Facebook与微软联合推出了一种开放式的神经网络切换格式——ONNX,它是一种表征深度学习模型的标准,可以实现模型在不同框架之间进行迁移。

ONNX 的全称为“Open Neural Network Exchange”,即“开放的神经网络切换”。顾名思义,该项目的目的是让不同的神经网络开发框架做到互通互用。目前,ONNX 已经得到 PyTorch、Caffe2、CNTK、MXNet 以及包括 Intel、ARM、Huawei、高通、AMD、IBM 等芯片商的支持。

按照该项目的设想,ONNX 的推出主要是为了解决当下AI生态系统的关键问题之一:开发框架的碎片化。现在有大量的不同框架用来构建和执行神经网络,还有其他的机器学习系统,但是它们之间不尽相同,而且无法协同运行。

onnx amd,机器学习,人工智能

AI的开发技术主要是深度学习神经网络,而神经网络训练和推理通常采用一种主流的深度学习框架。目前,主流的框架有如下这些:

  • TensorFlow(Google)
  • Caffe/Caffe2(Facebook)
  • CNTK(Microsoft)
  • MXNet(Amazon主导)
  • PyTorch(Facebook主导)

不同的框架有不同的优势,但是框架之间的互通性并不好,甚至没有互通性。开发AI模型时,工程师和研究人员有很多的AI框架可以选择,但是并不能“一次开发,多处直接使用”。面对不同的服务平台,往往需要耗费大量的时间把模型从一个开发平台移植到另一个,让开发者苦不堪言。因此增强框架之间的互通性变的非常重要,例如:

  • 情况1:某个框架的某个模型不管是准确度还是性能都非常好,但是和软件整体的架构不相符;
  • 情况2:由于框架A表现很好,用它训练了一个神经网络,结果生产环境中使用的是框架B,这就意味着你可能需要将框架A训练的神经网络移植到框架B支持的格式上。

但是如果使用ONNX,就可以消除这种尴尬,例如ONNX可以导出用PyTorch构建的训练模型,并将它与Caffe2结合起来用于推理(详细教程)。这对于研究阶段使用PyTorch构建模型,正式环境使用Caffe2的结构非常合适,且省去了模型移植的时间成本和人力成本等。

目前支持ONNX的框架如下:

onnx amd,机器学习,人工智能

详细支持情况,可查看Importing and Exporting from Frameworks中各项详细说明。

ONNX 技术概括

根据官方介绍中的内容,ONNX 为可扩展的计算图模型、内部运算器(Operator)以及标准数据类型提供了定义。每个计算图以节点列表的形式组织起来,构成一个非循环的图。节点有一个或多个的输入与输出。每个节点都是对一个运算器的调用。图还会包含协助记录其目的、作者等元数据信息。运算器在图的外部实现,但那些内置的运算器可移植到不同的框架上。每个支持 ONNX 的框架将在匹配的数据类型上提供这些运算器的实现。

概括的说就是,ONNX是在跟踪分析AI框架所生成的神经网络在运行时是如何执行的,然后会利用分析的信息,创建一张可以传输的通用计算图,即符合ONNX标准的计算图。虽然各个框架中的计算表示法不同,但是生成的结果非常相似,因此这样的方式也是行得通的。

那么ONNX标准的推出,为研究者、给开发者带来的意义是什么呢?

ONNX标准的意义

  • 首当其冲就是框架之间的互通性

开发者能够方便的在不同框架之间切换,为不同的任务选择最优的工具。往往在研发阶段需要的模型属性和产品阶段是不同的,而且不同的框架也会在特定的某个属性上有所优化,例如训练速度、对网络架构的支持、是否支持移动设备等等。如果不在研发阶段更换框架或者将研发阶段的模型进行移植,可能造成项目延迟等。ONNX解决了这个难题,使用ONNX支持的AI框架,则可以灵活选择AI框架,方便的进行模型切换。

  • 共享优化

芯片制造商不断地推出针对神经网络性能有所优化的硬件,如果这个优化频繁发生,那么把优化整合到各个框架是非常耗时的事。但是使用ONNX标准,开发者就可以直接使用优化的框架了。

这次没有Google

onnx amd,机器学习,人工智能

Google 是 TensorFlow 框架的核心主导者,而 TensorFlow 目前是业界的主流,是 GitHub 最受欢迎、生态体系健全度较高的框架。但是目前看来,TensorFlow 官方并没有支持ONNX。但是社区已经有了非官方的ONNX版TensorFlow,详情可参考onnx-tf。

如何使用

以下是根据ONNX官方教程,进行的实践和遇到的具体问题。Getting Started。

ONNX 的使用总体分为两步:

模型的导出:将使用支持ONNX标准的AI框架训练的模型导出为ONNX格式;

模型的导入:将ONNX格式的模型导入到支持ONNX的另一个AI框架中。

这里我选择模型导出的AI框架是:PyTorch,导出的模型是Apple Core ML所支持的mlmodel格式。

1. ONNX 安装

本地环境:

  • macOS High Sierra v10.13.1
  • Python 2.7
  • Xcode 9.1 command line tools
  • conda 4.3.30

ONNX的安装支持Binaries、Docker、Source三种方式,由于我本地常使用Anaconda,因此这里我使用Binaries方式 进行安装:

conda install -c conda-forge onnx

安装完成后如下显示:

onnx amd,机器学习,人工智能

2. coremltools 安装

coremltools 的安装较为简单,如果本地环境无误,运行如下指令:

pip install coremltools

即可完成安装。

3. PyTorch 安装

PyTorch ONNX支持的版本目前仅支持从源码Master分支安装,因此如果你本机的环境中已经安装了PyTorch,可能需要重新安装,安装方法可见:From Source

需要注意的是,在进行安装时,需要将指令 MACOSX_DEPLOYMENT_TARGET=10.9 CC=clang CXX=clang++ python setup.py install 中的MACOSX_DEPLOYMENT_TARGET部分修改为当前你设备安装的macOS版本号。

PyTorch已经更新了官网版本,已经支持了ONNX,因此你可以直接使用官网的方式安装了。【注意:如果本地已经安装过了,使用此方法安装后,需要重新安装TorchVision (conda install torchvision -c pytorch),否则部分功能可能不能使用。】

onnx amd,机器学习,人工智能

3. 模型算法选择

这里选择的是PyTorch中的一个示例模型算法Super-resolution 进行实践。

Super-resolution(超分辨率)技术是指由低分辨率(LR, low-resolution)的图像或图像序列恢复出高分辨率(HR, high-resolution)的技术,其原理可参考图像超分辨率技术(Image Super Resolution)中的介绍。 Super-resolution(超分辨率)核心思想是用时间分辨率(同一场景的多帧图像序列)换成更高的空间分辨率,实现时间分辨率向空间分辨率的转换,论文地址。

在本文中,将使用一个具有虚拟输入的小型超分辨率模型。

本文主要是讲解如何使用ONNX进行模型转换,对于具体的技术原理可参考文中链接。

4. 模型构建

了解了相关的软件安装和模型之后,我们开始构建Super-resolution模型网络,此部分内容借鉴PyTorch examples中的实现。

# Super Resolution model definition in PyTorch
import torch.nn as nn
import torch.nn.init as init

class SuperResolutionNet(nn.Module):
    def __init__(self, upscale_factor, inplace=False):
        super(SuperResolutionNet, self).__init__()

        self.relu = nn.ReLU(inplace=inplace)
        self.conv1 = nn.Conv2d(1, 64, (5, 5), (1, 1), (2, 2))
        self.conv2 = nn.Conv2d(64, 64, (3, 3), (1, 1), (1, 1))
        self.conv3 = nn.Conv2d(64, 32, (3, 3,), (1, 1), (1, 1))
        self.conv4 = nn.Conv2d(32, upscale_factor ** 2, (3, 3), (1, 1), (1, 1))
        self.pixel_shuffle = nn.PixelShuffle(upscale_factor)

        self._initialize_weights()

    def _initialize_weights(self):
        init.orthogonal(self.conv1.weight, init.calculate_gain('relu'))
        init.orthogonal(self.conv2.weight, init.calculate_gain('relu'))
        init.orthogonal(self.conv3.weight, init.calculate_gain('relu'))
        init.orthogonal(self.conv4.weight)


    def forward(self, x):
        x = self.relu(self.conv1(x))
        x = self.relu(self.conv2(x))
        x = self.relu(self.conv3(x))
        x = self.pixel_shuffle(self.conv4(x))
        return x

以上模型网络构件完成后,我们就可以创建一个模型了,例如:

torch_model = SuperResolutionNet(upscale_factor=3)

此模型的结构如下:

SuperResolutionNet(
  (relu): ReLU()
  (conv1): Conv2d (1, 64, kernel_size=(5, 5), stride=(1, 1), padding=(2, 2))
  (conv2): Conv2d (64, 64, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))
  (conv3): Conv2d (64, 32, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))
  (conv4): Conv2d (32, 9, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))
  (pixel_shuffle): PixelShuffle(upscale_factor=3)
)

如果你不想自己再去训练模型,可以下载已经构建好的预训练模型权重文件pretrained model weights,进行模型的构建,例如:

import torch.utils.model_zoo as model_zoo

# 加载预训练模型权重文件
model_url = 'https://s3.amazonaws.com/pytorch/test_data/export/superres_epoch100-44c6958e.pth'
batch_size = 1    # 这里是一个随机数(这了仅仅是为了演示使用,实际项目中需要调整)

# 使用权重文件初始化模型
torch_model.load_state_dict(model_zoo.load_url(model_url))

# 设置训练模式为False,因为我们仅使用正向传播的方式
torch_model.train(False)

训练后,得到的模型结构同上。

5. 模型导出为ONNX格式

上面通过构建模型的过程,我们已经得到了模型,为了能够将此模型使用在Core ML框架中,首先需要将此模型导出为ONNX标准格式的模型文件。关于PyTorch中如何导出ONNX格式的模型文件,可以参考torch.onnx中的说明和示例。

简单的说,在PyTorch中要导出模型是通过跟踪其工作的方式进行的。要导出模型需要调用 torch.onnx._export() 函数,此函数将会记录模型中的运算符用于计算输出的轨迹,另外此函数需要一个输入张量 x,可以是一个图像或一个随机张量,只要它是正确的大小即可。

import torch.onnx
from torch.autograd import Variable

# 张量 `x` 大小确定
x = Variable(torch.randn(batch_size, 1, 224, 224), requires_grad=True)

# 导出模型
torch_out = torch.onnx._export(
    torch_model,   # 模型对象
    x,     # 模型输入(或多元输入的元组)
    "onnx-model/super_resolution.onnx",  # 保存文件的路径(或文件对象)
    export_params=True)  # 是否存储参数(True:将训练过的参数权重存储在模型文件中;False:不存储)

torch_out 是执行模型后的输出。通常情况下可以忽略这个输出,但是在这里我们将使用它来验证在Core ML中运行导出的模型是否和此值具有计算相同的值。

6. 转换ONNX格式到Core ML支持的mlmodel格式

6.1 安装转换工具onnx-coreml

首先我们要安装能够将ONNX标准格式的模型转换为Apple Core ML格式的工具onnx-coreml。安装指令如下:

pip install  onnx-coreml

安装完成后,就可以使用此工具将ONNX标准格式的模型转换为Apple Core ML格式了。

6.2 加载ONNX格式模型文件

在开始之前,需要先使用ONNX加载之前导出的ONNX格式模型文件到对象中:

import onnx

model = onnx.load('super_resolution.onnx')

6.3 转换模型到CoreML

由于我们安装了ONNX 到Core ML的转换工具,因此我们可以直接使用其中的 convert() 函数转换模型:

import onnx_coreml

cml = onnx_coreml.convert(model)
print type(cml)
cml.save('coreml-model/super_resolution.mlmodel')

这里的cml是格式转换后的coreml model对象,调用其save()方法即可将转换后的对象存储文件,即得到Core ML支持的模型文件。

有了这个mlmodel格式的模型文件后,我们就可以将其应用在 Core ML中进行推理了,这里不再进行此部分的描述,具体使用方法可参考Apple官方给出的mlmodel模型文件相关的使用示例,Integrating a Core ML Model into Your App。

总结

目前,ONNX所支持的AI框架和工具还较少,已经能够看出,ONNX的推出无疑是对整个AI研究和开发领域极大的福祉。不远的将来,当大多数的AI框架和工具都支持ONNX标准的时候,就不会发生为了选择生产环境的AI框架而重新学习、为了能够生产环境应用模型而耗时移植模型等等类似的事件了。减少了开发人员消耗在移植过程中的时间,增加了钻研算法和开发更令人兴奋的AI应用的时间,相信每个开发者和研究者都盼望着这个时期的到来。

补充:如果文章中有些链接打不开需要梯子,日常工作,会经常遇到一些技术问题或者查询一些资料,某度的查询结果没有某歌的好,强烈推荐某歌,某歌目前需要梯子,推荐一个梯子,可以注册试用:点击文章来源地址https://www.toymoban.com/news/detail-788618.html

参考资料

  • Facebook and Microsoft introduce new open ecosystem for interchangeable AI frameworks
  • Microsoft and Facebook create open ecosystem for AI model interoperability
  • ONNX
  • Core ML
  • PyTorch
  • Announcing ONNX Support for Apache MXNet

到了这里,关于AI模型互通的新开放生态系统ONNX介绍与实践的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包