[迁移学习]领域泛化

9月前作者：ViperL1 分类：Toy博客阅读(34) 违法举报

这篇具有很好参考价值的文章主要介绍了[迁移学习]领域泛化。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

一、概念

相较于领域适应，领域泛化(Domain generalization)最显著的区别在于训练过程中不能访问测试集。

[迁移学习]领域泛化,神经网络,学习笔记,迁移学习,人工智能,机器学习

领域泛化的损失函数一般可以描述为以下形式：

$[迁移学习]领域泛化,神经网络,学习笔记,迁移学习,人工智能,机器学习$

该式分为三项：第一项表示各训练集权重的线性组合，其中π为使该项最小的系数；第二项 $[迁移学习]领域泛化,神经网络,学习笔记,迁移学习,人工智能,机器学习$ 表示域间距离，其中表示目标域和源域之间最小的距离、表示源域之间两两组合的最大距离；第三项表示理想风险(ideal joint risk)，一般情况下可以忽略。

二、分类

1.数据操作(Data manipulation)

该方法体现在对数据集的操作，主要分为数据增强(Data augmentation)和数据生成(Data generation)

[迁移学习]领域泛化,神经网络,学习笔记,迁移学习,人工智能,机器学习

其中数据增强主要的方式是对图像进行尺寸、颜色、亮度、对比度的调整，旋转、添加噪声等操作。可由其增强的方向分为：相关数据增强和对抗数据增强。

数据生成主要有3种方式：VAE、GAN(对抗生成)、Mixup(混合增强)，主要的目的是增强模型的泛化能力。

[迁移学习]领域泛化,神经网络,学习笔记,迁移学习,人工智能,机器学习

2.学习表征(Representation learning)

该方法可以表征为：

[迁移学习]领域泛化,神经网络,学习笔记,迁移学习,人工智能,机器学习

通过对以上式子中各部分的学习来表征域的特征，主要方法有四种

①Kernel-based method：传统方法，主要依赖核投射技巧

②Domain adversarial learing：对抗方法，基于对抗网络进行混淆

[迁移学习]领域泛化,神经网络,学习笔记,迁移学习,人工智能,机器学习

③Explicit feature alignment：显式的减少域之间的差异，域对齐

[迁移学习]领域泛化,神经网络,学习笔记,迁移学习,人工智能,机器学习

④Invariant risk minimization：范式方法

[迁移学习]领域泛化,神经网络,学习笔记,迁移学习,人工智能,机器学习

⑤Feature disentanglement：解耦，提取出相同类别中共同特征

[迁移学习]领域泛化,神经网络,学习笔记,迁移学习,人工智能,机器学习

主要分为两种：1.UndoBias：将权重分为两种 $[迁移学习]领域泛化,神经网络,学习笔记,迁移学习,人工智能,机器学习$ (其中为所有域的公共特征，为每个域私有的特征)

2.Generative modeling：使用生成网络进行解耦

3.学习策略(Learning strategy)

①Meta-learning(源学习)

[迁移学习]领域泛化,神经网络,学习笔记,迁移学习,人工智能,机器学习

将源域分解为若干个小任务

②Ensemble learning(集成学习)

[迁移学习]领域泛化,神经网络,学习笔记,迁移学习,人工智能,机器学习

认为目标域是源域的线性组合，表现在实际操作中是各种结果按照一定权重进行组合（类似于投票）文章来源地址https://www.toymoban.com/news/detail-645174.html

到了这里，关于[迁移学习]领域泛化的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：如若内容造成侵权/违法违规/事实不符，请点击违法举报进行投诉反馈，一经查实，立即删除！

分享到：

领支付宝红包赞助服务器费用

【笔记整理】图神经网络学习

参考用于分析结构化数据的图神经网络 (GNN) 简介 Graph Neural Networks: Methods, Applications, and Opportunities 图神经网络（Graph Neural Networks，GNN）综述如何通俗地解释欧氏空间? 2021_金融智能下的图机器学习实践 2021_图神经网络加速芯片：人工智能 “认知智能”阶段起飞的推进剂 A Ge

2024年02月06日
浏览(55)
【深度学习笔记】浅层神经网络

本专栏是网易云课堂人工智能课程《神经网络与深度学习》的学习笔记，视频由网易云课堂与 deeplearning.ai 联合出品，主讲人是吴恩达 Andrew Ng 教授。感兴趣的网友可以观看网易云课堂的视频进行深入学习，视频的链接如下： https://mooc.study.163.com/course/2001281002 也欢迎对神经网

2024年02月12日
浏览(40)
【机器学习笔记】10 人工神经网络

1943年，心理学家McCulloch和逻辑学家Pitts建立神经网络的数学模型，MP模型每个神经元都可以抽象为一个圆圈，每个圆圈都附带特定的函数称之为激活函数，每两个神经元之间的连接的大小的加权值即为权重。 1960年代，人工网络得到了进一步地发展感知机和自适应线性元件等

2024年02月19日
浏览(38)
深度学习笔记之循环神经网络(十)基于循环神经网络模型的简单示例

本节我们将前面介绍的几种循环神经网络 —— RNN,LSTM,GRU text{RNN,LSTM,GRU} RNN,LSTM,GRU 关于实例中的一个演示，但重点并不仅在于这些模型，这里以示例的形式对 One-hot text{One-hot} One-hot 向量重新进行认知。自然语言 ( Natural Language ) (text{Natural Language}) ( Natural Language ) 是人类

2024年02月07日
浏览(48)
深度学习笔记_1、定义神经网络

2024年02月07日
浏览(42)
神经网络的主要应用领域,神经网络技术及其应用

神经网络原理及应用 1. 什么是神经网络？神经网络是一种模拟动物神经网络行为特征，进行分布式并行信息处理的算法。这种网络依靠系统的复杂程度，通过调整内部大量节点之间相互连接的关系，从而达到处理信息的目的。人类的神经网络 2. 神经网络基础知识构成：大

2024年02月09日
浏览(51)
人工智能领域：面试常见问题超全（深度学习基础、卷积模型、对抗神经网络、预训练模型、计算机视觉、自然语言处理、推荐系统、模型压缩、强化学习、元学习）

【深度学习入门到进阶】必看系列，含激活函数、优化策略、损失函数、模型调优、归一化算法、卷积模型、序列模型、预训练模型、对抗神经网络等专栏详细介绍：【深度学习入门到进阶】必看系列，含激活函数、优化策略、损失函数、模型调优、归一化算法、卷积模型、

2024年02月15日
浏览(65)
学习笔记：深度学习（3）——卷积神经网络（CNN）理论篇

学习时间：2022.04.10~2022.04.12 CNN（Convolutional Neural Networks, ConvNets, 卷积神经网络）是神经网络的一种，是理解图像内容的最佳学习算法之一，并且在图像分割、分类、检测和检索相关任务中表现出色。 3.1.1 什么是CNN？ CNN是一种带有卷积结构的前馈神经网络，卷积结构可以减少

2024年02月03日
浏览(89)
李宏毅机器学习笔记：RNN循环神经网络

例如情景补充的情况，根据词汇预测该词汇所属的类别。这个时候的 Taipi 则属于目的地。但是，在订票系统中， Taipi 也可能会属于出发地。到底属于目的地，还是出发地，如果不结合上下文，则很难做出判断。因此，使用传统的深度神经网络解决不了问题，必须引入RNN。如

2024年02月10日
浏览(50)
《动手学深度学习》学习笔记第9章现代循环神经网络

书籍链接：动手学深度学习笔记是从第四章开始，前面三章为基础知识，有需要的可以自己去看看关于本系列笔记：书里为了让读者更好的理解，有大篇幅的描述性的文字，内容很多，笔记只保留主要内容，同时也是对之前知识的查漏补缺《动手学深度学习》学习笔记第

2024年01月18日
浏览(51)