全方位支持图文和音视频、100+增强功能,Facebook开源数据增强库AugLy

这篇具有很好参考价值的文章主要介绍了全方位支持图文和音视频、100+增强功能,Facebook开源数据增强库AugLy。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

Facebook 近日开源了数据增强库 AugLy,包含四个子库,每个子库对应不同的模态,每个库遵循相同的接口。支持四种模态:文本、图像、音频和视频。

最近,Facebook 开源了一个新的 Python 库——AugLy,该库旨在帮助 AI 研究人员使用数据增强来评估和改进机器学习模型的可用性。AugLy 提供了复杂的数据增强工具,可以创建样本来训练和测试不同的系统。

项目地址:GitHub - facebookresearch/AugLy: A data augmentations library for audio, image, text, and video.

该库基于 Facebook 和 Instagram 等平台上的真实图片和视频提供了 100 多种数据增强功能,因此对于处理与社交媒体应用程序相关的模型或数据的研究工作特别有用。

目前 AugLy 支持四个模态:文本、图像、音频和视频。使用真实世界的数据进行数据增强能够帮助机器更好地理解复杂的任务。以文本短语「love the way you smell today」为例,该文本想要表达的意思是喜欢,但是将此短语应用到臭鼬的图片上时,想要表达的意思全部变了。AugLy 更类似于人们为了了解周围的世界而从多种感官获取信息的方式。随着数据集和模型变得越来越具有多模态,在一个统一的库和 API 下转换项目的所有数据是非常有必要的。

对于该数据增强库,机器学习界的大佬 Yann LeCun 也转推推荐。

AugLy 如何工作

AugLy 包含四个子库,每个子库对应不同的模态,每个库遵循相同的接口:AugLy 提供了基于函数和类格式的转换,并提供强度函数,帮助了解转换的强度(基于给定参数)。AugLy 还可以生成有用的元数据,以帮助了解数据转换过程。

此外,该库已经聚合了许多扩展,以及以前从未存在过的扩展。例如,增强功能将图像或视频叠加到社交媒体界面上,使其看起来像是用户在 Facebook 等社交网络上截屏的图像或视频,然后重新共享。这对于许多用例来说是一个有用的补充,因为 Facebook 上的用户通常会以这种方式重新共享内容。

AugLy 为何如此重要

数据增强对于确保 AI 模型的鲁棒性至关重要。如果可以教会模型对数据中不重要的属性扰动具有鲁棒性,那么模型将学会关注特定用例中数据的重要属性。

在 Facebook 中,一个重要的应用程序是检测特定内容的「相似副本」。例如,同一条信息可能以不同的形式重复出现。又例如图像经过修改后被裁剪了几个像素,或者用过滤器或新的文本覆盖进行了增强。通过使用 AugLy 数据增强 AI 模型,它们可以在上传已知侵权内容 (如歌曲或视频) 时识别出来。

使用 AugLy 训练模型来检测相似内容意味着我们可以主动阻止用户上传已知侵权的内容。例如 SimSearchNet,一个基于卷积神经网络的模型,可以专门用来检测精确复制内容,该模型是用 AugLy 增强训练的。

除了使用 AugLy 训练模型外,该库还可用于确定模型相对于一组增强的鲁棒性。事实上,AugLy 已经被用来评估 deepfake 检测模型在「Deepfake 检测挑战赛」(Deepfake Detection Challenge)中的鲁棒性,最终影响了前五名获胜者。

AugLy 支持图像增强,如裁剪、填充图像、截屏和重新共享照片。数据增强的用途是广泛的,AugLy 可以帮助研究人员从事各种工作,从物体检测模型到识别仇恨言论再到语音识别。

参考链接:

https://ai.facebook.com/blog/augly-a-new-data-augmentation-library-to-help-build-more-robust-ai-models/

Facebook AI Open Sources AugLy: A New Python Library For Data Augmentation To Develop Robust Machine Learning Models - MarkTechPost文章来源地址https://www.toymoban.com/news/detail-611975.html

到了这里,关于全方位支持图文和音视频、100+增强功能,Facebook开源数据增强库AugLy的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • kafka知识点全方位讲解

    Apache Kafka是一个开源消息系统,由Scala写成。是由Apache软件基金会开发的一个开源消息系统项目。 Kafka最初是由LinkedIn开发,并于2011年初开源。2012年10月从Apache Incubator毕业。该项目的目标是为处理实时数据提供一个统一、高通量、低等待的平台。 Kafka是一个分布式消息队列:

    2023年04月25日
    浏览(42)
  • Android Jetpack组件的全方位分析

    Jetpack是一个用于简化Android应用程序开发的工具包,包含了一系列的组件和工具。Jetpack包含了很多组件,如LiveData、ViewModel、Room、Data Binding、Navigation等。 Jetpack组件是一种更高级别的抽象,它们可以提供更简洁、更易于使用的API。支持库是Jetpack组件的底层实现。 基本概念和

    2024年02月11日
    浏览(40)
  • ⛳前端进阶:SEO 全方位解决方案

    SEO 代表搜寻引擎最佳化/搜寻引擎优化(英文全名Search Engine Optimization,简称SEO),是指通过了解搜寻引擎的自然排名的算法逻辑,以提高目标网站在有关搜寻引擎内排名的方式。 网站的 SEO 至关重要,它可以让你的网站获得更好的排名和流量,从而提高网站知名度。对于一些盈

    2024年02月09日
    浏览(49)
  • SQL全方位攻略:3.SQL标准

    1.数据库介绍 2.SQL介绍 【免责声明】文章仅供学习交流,观点代表个人,与任何公司无关。 编辑|SQL和数据库技术(ID:SQLplusDB) 为了确保不同厂商数据库系统之间的兼容性和互操作性,用于控制SQL查询的行为和数据存储结构等方面的统一性,由国际组织或者国家标准化组织制定

    2024年02月05日
    浏览(45)
  • 全方位了解VR全景展示与制作

    引言: 虚拟现实(VR)技术正在以惊人的速度改变我们的生活方式和体验方式。其中,VR全景展示与制作作为虚拟现实的重要应用之一,为用户提供了身临其境的视听体验。  一、了解VR全景展示与制作 1.VR全景展示 VR全景展示是一种通过虚拟现实技术,将用户带入真实或虚构

    2024年02月13日
    浏览(37)
  • 全方位对比 Postgres 和 MySQL(2023 版)

    根据 2023 年的 Stack Overflow 调研 (https://survey.stackoverflow.co/2023/) ,Postgres 已经取代 MySQL 成为最受敬仰和渴望 (the most admired, desired) 的数据库。     随着 Postgres 的发展势头愈发强劲,在 Postgres 和 MySQL 之间做选择变得更难了。   如果看安装数量,MySQL 可能仍是全球最大的开源数

    2024年02月13日
    浏览(36)
  • 全方位对比 Postgres 和 MongoDB (2023 版)

    本文为「数据库全方位对比系列」第二篇,该系列的首部作品为「全方位对比 Postgres 和 MySQL (2023 版)」 根据 2023 年 Stack Overflow 调研,Postgres 已经成为最受欢迎和渴望的数据库了。 MongoDB 曾连续 4 年 (2017 - 2020) 蝉联此头衔。根据 DB-Engines 排名,Postgres 和 MongoDB 都是排名前 5 的

    2024年02月15日
    浏览(57)
  • 【全方位解析】如何写好技术文章

    前言 为何而写 技术成长 :相对于庞大的计算机领域的知识体系,人的记忆还是太有限了,而且随着年龄的增大,记忆同样也会逐渐衰退,正如俗话所说“好记性不如烂笔头”。并且在分享博客的过程中,我们也可以和大神交流,进而发现自己的认知错误,纠正知识体系。最

    2024年02月16日
    浏览(46)
  • 如何对 Spark 进行全方位性能调优?

    日志收集 如果作业执行报错或者速度异常,通常需要查看 Spark 作业日志,Spark 日志通常是排错的唯一根据,更是作业调优的好帮手。查看日志的时候,需要注意的是 Spark 作业是一个分布式执行的过程,所以日志也是分布式的,联想到 Spark 的架构,Spark 的日志也分为两个级别

    2024年02月21日
    浏览(48)
  • 边缘路由器是什么意思?全方位了解它

    边缘路由器是什么意思?边缘路由器是连接网络的边界点和其他网络的路由器,边缘路由器主要位于网络的外围,而处在网络中心的路由器则是核心路由器,核心路由器和边缘路由器是两个相对的概念,边缘路由器与普通的路由器大小和容量也不一样,下面大家来看看吧。

    2024年02月10日
    浏览(54)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包