迁移学习(Transfer Learning)

这篇具有很好参考价值的文章主要介绍了迁移学习(Transfer Learning)。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

  迁移学习作为机器学习的一个分支,一直比较好奇,接着这篇文章对迁移学习做一个简单的了解(本篇只涉及外围,没有太多细节)。文章围绕以下主题产生:
  1.迁移学习概要
  2.迁移学习的分类
  3.迁移学习的应用场景?

一、迁移学习概要

  迁移学习(Transfer Learning)的基本思想是利用已解决问题的策略去解决待解决的问题(hhh有点绕~),也就是把现有的经验迁移过去。目前是作为机器学习下的一个分支,大多使用神经网络的方法,以训练模型为主了,通常就是那一套模型的参数去做另一套的初始值减少模型训练的复杂度。
  但迁移学习提出的初衷不是为了模型训练,而是节省人工标注样本的时间,让模型可以通过已有的标记数据(source domain data)向未标记数据(target domain data)迁移,这样可以减低机器学习对 数据集样本量的需求
  有两个概念,已有的知识叫做源域(source domain)要学习的知识叫做目标域(target domain),迁移学习就是建立源域到目标域的映射关系、

二、迁移学习的分类

  按照学习方式可以分为四类:
  基于样本:对不同的样本给予不同的权重,样本越相似,权重越高。高权重样本优先级更高,完成迁移。
  基于特征:将目标域和源域映射到同一空间,最小化二者对应点的距离,完成迁移
  基于模型:把模型和样本结合起来,通过调整模型参数完成迁移
  基于关系:发掘相似场景的关系,两组中如果有一组源域和目标域的关系可确定,可以迁移到另一组上

  这四类更多的是思想上的分类,不是很具体,具体的使用方法有两种:
  1.微调(Finetune):将别人训练好的网络模型修改后用于自己的。用预训练的网络权值代替随机初始化权值
  2.混合特征提取(Fixed Feature Extractor):将预训练网络作为新任务特征提取,也就是新模型的前几层用预训练网络做替换
参考:迁移学习简介与分类 - 知乎 (zhihu.com)

三、迁移学习的应用场景?

  迁移学习没有具体的行业场景,满足条件就可以使用。这里的条件就是源域和目标域要达到一定的相似度,并且如果有两个任务A和B的话,希望用A迁移到B,那么A需要有海量的数据资源来训练好,才能给B提供保障。
  目前为止,迁移学习应用到了其他领域,比如迁移学习+联邦学习=联邦迁移学习,迁移学习+强化学习=强化迁移学习,但具体的细节暂时还没有了解啦。

经典文献:A Survey on Transfer Learning
迁移学习学习资料:https://github.com/jindongwang/transferlearning

因作者水平有限,如有错误之处,请在下方评论区指正,谢谢!文章来源地址https://www.toymoban.com/news/detail-603038.html

到了这里,关于迁移学习(Transfer Learning)的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • [Machine Learning] 领域适应和迁移学习

    在机器学习中,我们的目标是找到一个假设或模型,它可以很好地描述或预测数据。当我们基于训练集训练模型时,我们的目的是让模型能够捕获到数据中的主要模式。然而,为了确保模型不仅仅是对训练数据进行记忆,而是真正理解了数据的结构,我们需要在测试集上评估

    2024年02月08日
    浏览(54)
  • 对AI和机器学习感兴趣的人应该了解什么?

    作者:禅与计算机程序设计艺术 人工智能(Artificial Intelligence)和机器学习(Machine Learning)是当前热门的两大领域。如果你对这两个领域有很强烈的兴趣,那就一定要仔细阅读本文。这是一个不错的机会,可以系统地了解一下这两个领域的最新进展、基本概念、核心算法、代

    2024年02月07日
    浏览(47)
  • 【深度学习】风格迁移,转换,Stable Diffusion,FreeStyle : Free Lunch for Text-guided Style Transfer using Diffusion

    论文:https://arxiv.org/abs/2401.15636 代码:https://github.com/FreeStyleFreeLunch/FreeStyle 介绍 生成扩散模型的快速发展极大地推进了风格迁移领域的发展。然而,大多数当前基于扩散模型的风格转移方法通常涉及缓慢的迭代优化过程,例如模型微调和风格概念的文本反转。在本文中,我们

    2024年04月13日
    浏览(37)
  • 【论文合集】Awesome Transfer Learning

    目录 Papers (论文) 1.Introduction and Tutorials (简介与教程) 2.Transfer Learning Areas and Papers (研究领域与相关论文) 3.Theory and Survey (理论与综述) 4.Code (代码) 5.Transfer Learning Scholars (著名学者) 6.Transfer Learning Thesis (硕博士论文) 7.Datasets and Benchmarks (数据集与评测结果) 8.Transfer Learning Challen

    2024年02月06日
    浏览(82)
  • Spark Machine Learning进行数据挖掘的简单应用(兴趣预测问题)

    数据挖掘任务主要分为以下六个步骤: 1.数据预处理 2.特征转换 3.特征选择 4.训练模型 5.模型预测 6.评估预测结果 这里准备了20条关于不同地区、不同性别、不同身高、体重…的人的兴趣数据集(命名为hobby.csv): 任务分析 通过sex,address,age,height,weight这五个特征预测一个人的

    2024年02月03日
    浏览(92)
  • 第八章 模型篇:transfer learning for computer vision

    参考教程: transfer-learning transfer-learning tutorial 很少会有人从头开始训练一个卷积神经网络,因为并不是所有人都有机会接触到大量的数据。常用的选择是在一个非常大的模型上预训练一个模型,然后用这个模型为基础,或者固定它的参数用作特征提取,来完成特定的任务。

    2024年02月11日
    浏览(38)
  • Transfer learning in computer vision with TensorFlow Hu

    作者:禅与计算机程序设计艺术 Transfer learning is a machine learning technique that allows a model to learn new knowledge from an existing trained model on a similar task. Transfer learning can be useful for a variety of tasks such as image classification, object detection, and speech recognition. However, transfer learning has its own set of c

    2024年02月07日
    浏览(46)
  • 迁移学习(CLDA)《CLDA: Contrastive Learning for Semi-Supervised Domain Adaptation》

    Note:[ wechat:Y466551 | 可加勿骚扰,付费咨询 ] 论文标题:CLDA: Contrastive Learning for Semi-Supervised Domain Adaptation 论文作者:Ankit Singh 论文来源:NeurIPS 2021 论文地址:download  论文代码:download 视屏讲解:click 动机 :半监督导致来自标记源和目标样本的监督只能确保部分跨域特征对

    2023年04月17日
    浏览(36)
  • LLM微调 | Adapter: Parameter-Efficient Transfer Learning for NLP

    目的:大模型预训练+微调范式,微调成本高。adapter只只微调新增的小部分参数【但adapter增加了模型层数,引入了额外的推理延迟。】 Adapters最初来源于CV领域的《Learning multiple visual domains with residual adapters》一文,其核心思想是在神经网络模块基础上添加一些残差模块,并只

    2024年02月14日
    浏览(47)
  • 机器学习(Machine Learning)

    bili 吴恩达 机器学习 这是一门让计算机在没有明确编程的情况下学习的科学。 亚瑟·塞缪尔(1959):赋予计算机学习能力而不被明确编程的研究领域。 机器学习作为人工智能的一个子领域。专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已

    2024年02月09日
    浏览(47)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包