【计算机视觉】Zero-shot, One-shot和Few-shot的理解-Toy模板网

这篇具有很好参考价值的文章主要介绍了【计算机视觉】Zero-shot, One-shot和Few-shot的理解。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

机器学习任务按照对 样本量 的需求可以分为：传统监督式学习、Few-shot Learning、One-shot Learning、Zero-shot Learning。

一、传统监督式学习

传统learning，炼丹模式。传统深度学习的学习速度慢，往往需要学习海量数据和反复训练后才能使网络模型具备不错的泛化能力，传统learning可以总结为：海量数据 + 反复训练（炼丹模式）。

为了 “多快好省” 地通往炼丹之路，开始研究 Zero-shot Learning / One-shot Learning / Few-shot Learning。

二、Zero-shot learning （零样本学习，简称ZSL）

参考文章：https://blog.csdn.net/weixin_41862755/article/details/125623018

任务定义：

利用训练集数据训练模型，使得模型能够对测试集的对象进行分类，但是训练集类别和测试集类别之间没有交集；期间需要借助类别的描述，来建立训练集和测试集之间的联系，从而使得模型有效。

ZSL就是希望我们的模型能够对其从没见过的类别进行分类，让机器具有推理能力，实现真正的智能。其中零次（Zero-shot）是指对于要分类的类别对象，一次也不学习。

比如：假设我们的模型已经能够识别马，老虎和熊猫了，现在需要该模型也识别斑马，那么我们需要告诉模型，怎样的对象才是斑马，但是并不能直接让模型看见斑马。所以模型需要知道的信息是马的样本、老虎的样本、熊猫的样本和样本的标签，以及关于前三种动物和斑马的描述。

【计算机视觉】Zero-shot, One-shot和Few-shot的理解

三、Few-shot learning

Few-shot Learning（少样本学习）是Meta Learning（元学习）中的一个实例，所以在了解什么是Few-shot Learning之前有必要对Meta Learning有一个简单的认识。不过在了解什么是Meta Learning之前还是要了解一下什么是Meta。

3.1 什么是Meta

meta就是描述数据的数据。

比如照片，我们看到的是它呈现出来的数据，即Data，但它还含有许多描述它拍摄参数的数据，比如光圈、快门速度、相机品牌等，即Meta。

【计算机视觉】Zero-shot, One-shot和Few-shot的理解

3.2 什么是Meta Learning？

机器学习模型一般要求训练集样本量足够大，才能取得不错的预测效果。但对于人来说却不需要，对于一个从没有见过小猫和小狗的小朋友来说，给他几张照片他就能轻松的学会如何分辨两只动物。如果一个人已经掌握了如何骑自行车，那么学习如何骑摩托车对他来说会非常轻松。我们能否设计一个模型，让模型仅从一点点训练样本就能学会新的“知识”呢？即让模型“自己学会去学习”。

举个简单的例子，一个小朋友去动物园，里面有些动物他没有见过所以不知道叫什么名字，然后你给他一些小卡片，卡片上有各个动物的照片和名称，小朋友就可以自己学习，从这些卡片中找出这些动物的名字。这里的未知动物叫做query，小卡片叫做support set。培养小朋友从小卡片中自主学习就叫做meta learning。如果一个类别的小卡片只有一张，那么就叫做one-shot learning。

小样本带标签的数据集称为support set，由于support set数据样本很少，所以不足以训练一个神经网络。而training set每个类别样本量很大，使用training set训练的模型能够在测试集取得很好的泛化效果。

【计算机视觉】Zero-shot, One-shot和Few-shot的理解

Meta learning是一种学习其它机器学习任务输出的机器学习算法（有一点绕，不过理解了meta data理解meta learning就会相对容易一些）。

Machine learning algorithm从历史数据中学习知识，然后泛化到新的数据样本中。

Learning Algorithm: Learn from historical data and make predictions given new examples of data.

而meta learning是从其它学习算法(learning algorithm)的输出中学习，这就要求其它学习算法以及被预训练过。即meta learning算法将其它机器学习算法的输出作为输入，然后进行回归和分类预测。

Meta Learning Algorithm: Learn from the output of learning algorithms and make a prediction given predictions made by other models.

如果说machine learning是使用信息做出更好的预测，那么meta learning就是利用machine learning的预测作出最好的预测。

3.3 Few-shot learning

Few-shot learning指从少量标注样本中进行学习的一种思想。

Few-shot learning与标准的监督学习不同，由于训练数据太少，所以不能让模型去“认识”图片，再泛化到测试集中。而是让模型来区分两个图片的相似性。当把few-shot learning运用到分类问题上时，就可以称之为few-shot classification，当运用于回归问题上时，就可以称之为few-shot regression。下面所提到的few-shot learning都只针对分类问题进行讨论。

假如我们的有一个很大的训练集，包含以下五类样本，有哈士奇、大象、老虎、金刚鹦鹉和汽车。我们的目标不是让模型认出哪个是哈士奇，哪个是大象，而是让模型知道不同类别间的区别。

【计算机视觉】Zero-shot, One-shot和Few-shot的理解