1. Toy模板网首页
  2. > Toy博客

《Towards Open Set Deep Networks》：一文搞懂开集识别算法 OpenMax：

9月前 作者：没啥发的就看看 分类：Toy博客 阅读(39) 违法举报

这篇具有很好参考价值的文章主要介绍了《Towards Open Set Deep Networks》：一文搞懂开集识别算法 OpenMax：。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

一、文章涉及论文源码

《Towards Open Set Deep Networks》：https://github.com/abhijitbendale/OSDN

《Meta-Recognition: The Theory and Practice of Recognition Score Analysis》：https://github.com/Vastlab/libMR

说明：关于OpenMax算法的具体实现，有兴趣的可以备注来意q：3270348868

二、基本概念

1. 激活向量 AV：即训练（测试）样本通过神经网络的倒数第二层（全连接层）得到各类样本的激活向量 AV.

2. 均值激活向量 MAV：即各类训练样本的 AV 的均值，如 N 分类，就得到 N 个 MAV.

3. Weibull分布： 由于正态分布与真实的极值分部情况不符合（极值的部分就是正态分布的两端），故引出极值理论，常用的极值分部有：Weibull分布、Gumbel分布、以及Frechet分布. 注：OpenMax使用的是Weibull分部，关于OpenMax中的极值分部符合Weibull分部的证明详见

4. 距离集 D(i) ：各类训练样本的 AV 到本类的 MAV 的欧式距离的集合.

三、 OpenMax的感性理解

1. 闭集N分类网络通过网络模型输出得到N维激活向量，将激活向量输入到SoftMax层，经过SoftMax层，会得到一个N维的得分向量，也就是我们所看到的各类测试样本的分类得分，Socre.

2. 而OpenMax在SoftMax之前加入了一系列处理，为了方便描述，以第 i 类为例，即：计算出第 i 类所有训练样本的 MAV，并让第 i 类中所有分类正确的 AV 依次与 MAV 计算欧式距离，得到第 i 类的距离集，而这个距离集，将用于Weibull分布拟合，通过拟合得到第 i 类的累积分布函数 CDF.

3. 现在，就到了测试样本的阶段：输入一个测试样本，得到其激活向量 AV，计算该激活向量到各类 MAV 的距离，于是得到 N 个距离，将这 N 个距离分别带入各类拟合好的 CDF 函数中，得到 N 个概率，这N个概率分别代表此测试样本 AV 到 MAV 的距离出现在各类距离集中的概率，通俗理解就是将距离带入 CDF 函数，就得到此测试样本是各类的N个概率

4. 矫正得分：利用这N个概率，对应矫正此测试样本的的得分向量Score，矫正方法：CDFi(AV到MAV的距离) = 此样本属于 i 类的概率，反正 1 - CDFi(AV到MAV的距离)  = 此样本不属于 i 类的概率, 将此概率作为修正权值. 其中 CDFi 为第 i 类的累积分布函数. 将这 N 个修正权值对应乘到此测试样本AV经过SoftMax后得到的得分向量上

5. 经过对测试样本的得分矫正，无非是对得分向量中的 N 个得分值进行一定的消减，将每类预测概率上消减的值加在一起就是 此类为未知类的概率，此时就可以得到一个 N+1 维的得分向量

6. 到此，OpenMax算法整体流程结束！

二、OpenMax算法流程

1. OpenMax算法流程图：可以很清楚的看到OpenMax是如何进行样本预处理以及对测试样本矫正的过程

openmax 开集,深度学习,pytorch,分类算法,图像处理
a. OpenMax算法预处理过程
 
openmax 开集,深度学习,pytorch,分类算法,图像处理
b. OpenMax应用于测试样本

2. OpenMax算法伪代码

openmax 开集,深度学习,pytorch,分类算法,图像处理
a. OpenMax算法预处理阶段
openmax 开集,深度学习,pytorch,分类算法,图像处理
b. OpenMax应用于测试集

文章来源地址https://www.toymoban.com/news/detail-809672.html

到了这里，关于《Towards Open Set Deep Networks》：一文搞懂开集识别算法 OpenMax：的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处： 如若内容造成侵权/违法违规/事实不符，请点击违法举报进行投诉反馈，一经查实，立即删除！

分享到：
领支付宝红包 赞助服务器费用

相关文章

  • Youtube DNN：Deep Neural Networks for YouTube Recommendations

    Youtube DNN：Deep Neural Networks for YouTube Recommendations

    本文主要解决的三个挑战： 大规模的推荐场景，能够支持分布式训练和提供有效率的服务。 不断更新的新物料。 稀疏的用户行为，包含大量的噪声。 文章包含推荐系统的两阶段模型：召回和排序。 召回网络根据用户的历史行为从视频库中检索几百个候选视频，这些视频被

    2024年02月06日
    浏览(34)
  • 残差网络(ResNet) -深度学习（Residual Networks (ResNet) – Deep Learning）

    残差网络(ResNet) -深度学习（Residual Networks (ResNet) – Deep Learning）

    在第一个基于cnn的架构(AlexNet)赢得ImageNet 2012比赛之后，每个随后的获胜架构都在深度神经网络中使用更多的层来降低错误率。这适用于较少的层数，但当我们增加层数时，深度学习中会出现一个常见的问题，称为消失/爆炸梯度。这会导致梯度变为0或太大。因此，当我们增加

    2024年02月15日
    浏览(41)
  • Detecting Everything in the Open World: Towards Universal Object Detection

    Detecting Everything in the Open World: Towards Universal Object Detection

    论文题目《Detecting Everything in the Open World: Towards Universal Object Detection》 发表情况，CVPR2023 [论文地址][https://arxiv.org/pdf/2303.11749.pdf] [代码地址][https://github.com/zhenyuw16/UniDetector] 本文旨在解决通用目标检测问题，也即 检测任意场景、任意类别的目标 。 对手工标注的依赖、有限的

    2024年02月13日
    浏览(43)
  • 自然语言处理（六）： Deep Learning for NLP: Feedforward Networks

    自然语言处理（六）： Deep Learning for NLP: Feedforward Networks

    目录 1. Deep Learning 1.2 Feed-forward NN 1.3 Neuron 1.4 Matrix Vector Notation 矩阵向量表示法 1.5 Output Layer 1.6 Learning from Data 1.7 Regularisation 正则化 1.8 Dropout 2. Applications in NLP 2.1 Topic Classification 2.2 Topic Classification - Training 2.3 Topic Classification - Prediction 2.4 Topic Classification - Improvements 2.5

    2023年04月09日
    浏览(39)
  • 自然语言处理（七）： Deep Learning for NLP: Recurrent Networks

    自然语言处理（七）： Deep Learning for NLP: Recurrent Networks

    目录 1. N-gram Language Models 2. Recurrent Neural Networks 2.1 RNN Unrolled 2.2 RNN Training 2.3 (Simple) RNN for Language Model 2.4 RNN Language Model: Training 2.5 RNN Language Model: Generation 3. Long Short-term Memory Networks 3.1 Language Model… Solved? 3.2 Long Short-term Memory (LSTM) 3.3 Gating Vector 3.4 Simple RNN vs. LSTM 3.5 LSTM: Forget

    2023年04月13日
    浏览(48)
  • 【论文阅读】ELA: Efficient Local Attention for Deep Convolutional Neural Networks

    【论文阅读】ELA: Efficient Local Attention for Deep Convolutional Neural Networks

    论文链接 ：ELA: Efficient Local Attention for Deep Convolutional Neural Networks (arxiv.org) 作者 ：Wei Xu, Yi Wan 单位 ：兰州大学信息科学与工程学院，青海省物联网重点实验室，青海师范大学 引用 ：Xu W, Wan Y. ELA: Efficient Local Attention for Deep Convolutional Neural Networks[J]. arXiv preprint arXiv:2403.01123,

    2024年04月15日
    浏览(51)
  • 《Communication-Efficient Learning of Deep Networks from Decentralized Data》

    《Communication-Efficient Learning of Deep Networks from Decentralized Data》

    这篇文章算是联邦学习的开山之作吧，提出了FedAvg的算法，文中对比了不同客户端本地训练次数，客户端训练数据集划分的影响。 现代移动设备可以获取大量适合学习模型的数据，然而，这些丰富的数据通常是隐私敏感的、数量很大的，这可能导致无法记录到数据中心并使用

    2024年02月16日
    浏览(41)
  • On the Robustness of Backdoor-based Watermarkingin Deep Neural Networks

    On the Robustness of Backdoor-based Watermarkingin Deep Neural Networks

    关于深度神经网络中基于后门的数字水印的鲁棒性 ABSTRACT 在过去的几年中，数字水印算法已被引入，用于保护深度学习模型免受未经授权的重新分发。我们调查了最新深度神经网络水印方案的鲁棒性和可靠性。我们专注于基于后门的水印技术，并提出了两种简单而有效的攻击

    2024年02月01日
    浏览(45)
  • 论文笔记：Deep Spatio-Temporal Residual Networks for Citywide Crowd FlowsPrediction

    论文笔记：Deep Spatio-Temporal Residual Networks for Citywide Crowd FlowsPrediction

    2017 AAAI 使用时空残差网络ST-ResNet 进行 城市区域流入流出客流量预测 城市客流流入流出 根据经纬度将城市划分为网格 I×J   空间依赖性 时间依赖性 外部影响 北京出租车数据+纽约自行车数据 评价指标：RMSE      

    2024年02月16日
    浏览(37)
  • 论文阅读：Model-Agnostic Meta-Learning for Fast Adaptation of Deep Networks

    论文阅读：Model-Agnostic Meta-Learning for Fast Adaptation of Deep Networks

    要弄清MAML 怎么做，为什么这么做 ，就要看懂这两张图。 先说MAML**在做什么？**它是打着Mate-Learing的旗号干的是few-shot multi-task Learning的事情。具体而言就是想训练一个模型能够使用很少的新样本，快速适应新的任务。 我们定义一个模型 f f f , 输入 x x x 输出 a a a 。 -定义每一

    2024年02月11日
    浏览(51)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包，优惠每天领

二维码1

领取红包

二维码2

领红包