LuoJiaAI学习笔记——1.初识LuoJiaSET和LuoJiaNET

这篇具有很好参考价值的文章主要介绍了LuoJiaAI学习笔记——1.初识LuoJiaSET和LuoJiaNET。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

初识LuoJiaSet和LuoJiaNet


luojianet,LuoJiaAI学习笔记,深度学习,计算机视觉

相关遥感云计算平台

luojianet,LuoJiaAI学习笔记,深度学习,计算机视觉

存在问题:

  • 缺乏一个标准的大规模图像智能解读任务的样本数据库,使用户能够有效地检索、访问、标记和分享数据。
  • 忽略了遥感数据的幅尺寸大、尺度变化大、多数据通道、地理知识嵌入等特点,从而影响了计算效率和准确性。

LuoJiaSET

LuoJiaSET拥有一个广泛的公开可用的图像解释样本数据库,包括来自各种卫星和航空成像系统的光学和非光学数据类型的遥感样本数据集。所有这些样本数据集在LuoJiaSET中被一个标准的大型数据库很好地组织起来,可以有效地检索、访问、标注和分享,消除了与数据管理和计算有关的障碍。用户可以使用LuoJiaSET应用层的数据服务接口和具有OGC标准的网络控制台提供的操作员库来访问和分析数据。
关于OGC标准:

  1. 免费和公开。它们是免费的,不受专利和其他知识产权的限制。
  2. 非歧视性。何人、任何组织、任何时间、任何地点都可以使用这些工具,没有任何限制。
  3. 无许可证费用。任何时候都不收取使用费。
  4. 供应商中立。其内容和实现概念而言,他们是供应商中立的,不偏袒任何供应商。
  5. 数据中立。准独立于任何数据存储模型或格式。
  6. 基于协商一致意见。们由正式的、成员驱动的共识过程定义、记录和批准。共识小组仍然负责变更,没有一个实体控制标准。

相关链接:
https:// www.ogc.org/projects/groups/trainingdmlswg

多源样本数据整合

luojianet,LuoJiaAI学习笔记,深度学习,计算机视觉

对现有开源数据集的原有分类方案进行改造,并映射到LuoJiaSET采用的统一的、可扩展的新分类方案中。所有的样本数据都在LuoJiaSET样本数据库设计的统一编码规则和关系数据库结构下进行转换,并建立全局查询,用于多维度的检索和数据分析。所有样本数据集的信息,包括元数据、属性表、分类方案和版权,都存储在其相应的元数据表中,以方便追溯、质量控制和所有权识别。

人机互动的众包样本采集

luojianet,LuoJiaAI学习笔记,深度学习,计算机视觉

在遥感领域,标签采样成本高、工作量大,对样本注释者的专业地理知识要求高。因此,我们提出了一个自动/半自动的组合标签工具,以提高标签采样的效率和准确性。这个工具的主要目的是让参与者与经过训练的网络模型得到的自动解释结果进行互动,并试图减少识别错误。经专业人员在线验证后,符合质量要求的样本将被样本库接受。

样本共享平台

luojianet,LuoJiaAI学习笔记,深度学习,计算机视觉

LuoJiaSET开发了一个开源的遥感解译样本共享平台,提供多维检索的全局查询、数据统计分析和数据共享服务等功能。

  • 基础设施层由分布式存储系统、DL图形处理单元(GPU)集群、文件系统、数据库系统以及华为武汉人工智能计算中心的对象存储服务的现代网络环境构建。
  • 数据存储层提供多源遥感数据的存储、扩展、维护和版权保护的能力。
  • 数据访问层提供数据访问和操作的API,支持多维语义查询和数据交付服务。
  • 应用层为用户提供更高级的数据访问和分析的在线功能,如时空数据挖掘、样本属性的统计分析和整个数据库的知识发现。

LuoJiaNET

LuoJiaNET遥感专用深度学习框架,是遥感领域首个自主可控的专用机器学习框架。针对遥感数据像幅尺寸大、数据通道多、尺度变化大等特性,具备内存可扩展、尺度通道灵活创建、数据通道自主优选、框架与数据协同处理的特点。其与国产人工智能硬件NPU深度融合,可支持CPU、GPU、NPU等计算设备,形成融合探测机理与地学知识的统一计算图表达、编译优化、图算融合、自动混合并行的新一代遥感智能解译框架。LuoJiaNET构建了针对遥感影像“场景-目标-像素”多层级任务的遥感应用模型,包括场景检索、目标检测、地物分类、变化检测、多视角三维重建等五大类模型。
LuoJiaNET还开发了一个带有可视化建模工具的前端应用平台,提供在线模型服务(如模型创建、模型训练和模型部署),以提高用户的工作效率。用户可以在LuoJiaNET主页上注册,以获得用户指南、教程、模型实例、功能参考和教育课程。
luojianet,LuoJiaAI学习笔记,深度学习,计算机视觉

LuoJiaNET支持大幅面处理

基于自研LuoJiaNET框架,使用算子等价分解的分布式计算方式,对整张大幅遥感影像(尺寸为4×6000×6000,分辨率为2m)进行直接处理得到的分类结果:

处理策略对比(Backbone=FCN8S) GID 数据集(15类地物)
Overall
mIoU
基于Pytorch传统影像切分处理(1 x 4 x 7200 x 6800 - > N x 4 x 513 x 513) 53.80
基于LuoJiaNET整幅影像直接读取处理(1 x 4 x 7200 x 6800 - > 1 x 4 x 7200 x 6800) 62.90

luojianet,LuoJiaAI学习笔记,深度学习,计算机视觉

间接缓冲区组的映射

luojianet,LuoJiaAI学习笔记,深度学习,计算机视觉
LuoJiaNET提出了一个内存可扩展性模块来构建局部特征和全局空间背景的相关缓冲区,以支持大规模的图像加载、映射和学习。大规模图像根据标记的数据被划分为不同的全局相关缓冲区。保留在全局相关缓冲区的指针被称为全局间接缓冲区(GCP)单元。在GCP单元中,构建四叉树空间索引的技术,以获得每个局部情境处理(LCP)单元中的情境特征。GCP单元和LCP单元的特征在内存可扩展性模块中被串联起来,并由网络模型中的通用矩阵乘法单元进行加权,以实现全局-局部语境表示和学习。

分布式运算符分解

luojianet,LuoJiaAI学习笔记,深度学习,计算机视觉

在这个策略中,大规模的输入图像需要被切割并分配给多个训练卡。该方法的核心是将原始的大尺度输入特征分解成若干小块特征进行网络计算。这些小的特征通过图像拼接技术进行组合并恢复到原来的尺寸,使得计算结果等同于最初的大规模输入尺寸计算。因此,一张训练卡只需要负责大尺度输入图像的一小块,从而大大降低了对设备内存的要求。

LuoJiaNET支持通道优选

基于自研LuoJiaNET框架,使用数据通道自适应优选模块,对高光谱遥感影像(尺寸为200×145×145,分辨率为20m)进行直接处理得到的分类结果为:

Model AVIRIS Indian Pines(16类地物)
Overall Overall
kappa OA
Baseline(ResNet-18)(Input=1 x 200 x 145 x 145 - > 1 x 30 x 25 x 25) 93.46 94.06
+ 数据通道优选(每一类地物优选出256个维度的特征) 95.68 97.03

luojianet,LuoJiaAI学习笔记,深度学习,计算机视觉

自适应规模内存池

LuoJiaNET构建了一个尺度存储池,用于自适应存储、学习和优化多尺度堆叠图像特征。该方法的关键技术包括:

  1. 多尺度图像金字塔构建。与Laplacian尺度空间构建类似,引入高阶金字塔以减少构建图像金字塔时的尺度变化损失。
  2. 尺度记忆池构建。对于每个LCP单元图像特征,其当前尺度、上一尺度和下一尺度图像都存储在尺度存储池中。在每个网络训练迭代中,尺度记忆池堆叠多个尺度特征,并将它们发送到DL网络中进行自适应学习。
    luojianet,LuoJiaAI学习笔记,深度学习,计算机视觉
动态特征选择过滤器

LuoJiaNET提出了一种基于动态特征选择过滤器的自适应优化方法,以适应性地学习和优化数据通道。这种优化方法使用固定的内存阵列大小来动态存储和更新端到端网络训练中的最佳特征。预测值和标签之间的相似度是动态特征选择过滤器中为每个地面物体引入高质量特征的标准。这些高质量的特征将被作为额外的权重来指导网络训练。

LuoJiaNET支持遥感经验知识引导

LuoJiaNET提出了一种嵌入地理知识的自动并行计算策略,用于处理不同类型的遥感图像。通过开发先验地理知识提取(如图像纹理、边界和基于物理的特征提取)的特定算子,将这些先验知识集成到LuoJiaNET框架的多维混合自动并行计算的代价函数中,从而实现在有向无环图在多个硬件设备上的最优计算分配。自动并行的成本函数包含:

  1. 设备间传输运算器的延迟和带宽通信成本。
  2. 基于自动并行策略的不同设备上的操作成本。
  3. 并行训练中基于地理知识的成本。在实验中,我们选择遥感图像的灰度共现矩阵(GLCMs)作为先验地理知识。
    luojianet,LuoJiaAI学习笔记,深度学习,计算机视觉

大量实验表明:在植被指数、干旱指数、建筑物指数、地形指数等多个遥感经验知识模型引导下,深度网络的分类性能可以得到较为明显的提升。
luojianet,LuoJiaAI学习笔记,深度学习,计算机视觉文章来源地址https://www.toymoban.com/news/detail-796234.html

是否利用先验知识 未利用 利用后
Metric LoU PA UA F-Score LoU PA UA F-Score
Forest 81.06% 89.42% 89.65% 89.53% 81.58% 92.00% 87.80% 89.85%
Cropland 69.73% 80.92% 83.45% 82.16% 69.33% 79.70% 84.20% 81.88%
Water 81.06% 91.16% 87.97% 89.53% 82.22% 92.16% 88.40% 90.24%
Built-up Area 68.68% 80.92% 81.94% 81.42% 69.57% 80.11% 84.09% 82.05%
Grassland 28.88% 46.33% 43.40% 44.81% 27.65% 41.22% 45.66% 43.32%
Wetland 34.91% 58.32% 46.52% 51.75% 39.31% 55.71% 57.19% 56.44%
Unused Land 33.66% 44.04% 58.81% 50.36% 36.56% 46.79% 62.57% 53.54%
Overall 56.85% 70.15% 70.24% 69.93% 58.03% 69.67% 72.84% 71.04%

参考资料

  • https://www.mindspore.cn/largeModel/luojia
  • https://www.hiascend.com/software/modelzoo/models/detail/L/519276e10bd211eca5a90242ac110002/1
  • https://www.mindspore.cn/news/newschildren?id=2097&highlight=lujianet
  • Zhang Z, Zhang M, Gong J, et al. LuoJiaAI: A cloud-based artificial intelligence platform for remote sensing image interpretation[J]. Geo-spatial Information Science, 2023: 1-24.

到了这里,关于LuoJiaAI学习笔记——1.初识LuoJiaSET和LuoJiaNET的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • Python学习笔记_基础篇(一)_初识python

    Python简介 python的创始人为吉多·范罗苏姆(Guido van Rossum)。1989年的圣诞节期间,吉多·范罗苏姆为了在阿姆斯特丹打发时间,决心开发一个新的脚本解释程序,作为ABC语言的一种继承。 Python和其他语言的对比: C 和 Python、Java、C#等 C语言: 代码编译得到 机器码 ,机器码在

    2024年02月13日
    浏览(46)
  • 019 - STM32学习笔记 - Fatfs文件系统(一) - FatFs文件系统初识

    019 - STM32学习笔记 - Fatfs文件系统(一) - FatFs文件系统初识 最近工作比较忙,没时间摸鱼学习,抽空学点就整理一点笔记。 1、文件系统 在之前学习Flash的时候,可以调用 SPI_FLASH_BufferWrite 函数,将数据内容写入到Flash芯片中,需要使用的时候,可以再从Flash中读取出来,但是

    2024年02月15日
    浏览(35)
  • ARM 学习笔记2 初识Cortex-M33与STM32G4

    ARM Cortex-M系列处理器的差异与联系:【ARM Cortex-M 系列 1 – Cortex-M0, M3, M4, M7, M33 差异】 两本书籍的英文版和中文版 Definitive Guide to Arm® Cortex®-M23 and Cortex-M33 Processors Arm Cortex-M23和Cortex-M33微处理器权威指南 ST的介绍页 Arm® Cortex®-M33概述 STM32G474RE 采用STM32G474RE MCU的STM32 Nucleo-64开

    2024年01月25日
    浏览(52)
  • 【深度学习笔记】深度学习框架

    本专栏是网易云课堂人工智能课程《神经网络与深度学习》的学习笔记,视频由网易云课堂与 deeplearning.ai 联合出品,主讲人是吴恩达 Andrew Ng 教授。感兴趣的网友可以观看网易云课堂的视频进行深入学习,视频的链接如下: 神经网络和深度学习 - 网易云课堂 也欢迎对神经网

    2024年02月14日
    浏览(43)
  • 数据结构与算法之美学习笔记:40 | 初识动态规划:如何巧妙解决“双十一”购物时的凑单问题?

    本节课程思维导图: 淘宝的“双十一”购物节有各种促销活动,比如“满 200 元减 50 元”。假设你女朋友的购物车中有 n 个(n100)想买的商品,她希望从里面选几个,在凑够满减条件的前提下,让选出来的商品价格总和最大程度地接近满减条件(200 元),这样就可以极大限

    2024年02月03日
    浏览(53)
  • 【深度学习】RNN学习笔记

     将单词序列转换为向量,这里有五个单词,然后对于每一个单词都进行独热编码,编码成一个特定的向量。 对于RNN网络,需要一次性读取多个句子,那么涉及到batch_size,这里第二个表达就是:batch,单词,单词的表达方式  这里生成一个5 x 100的向量,对于每一个单词我们都

    2024年02月15日
    浏览(44)
  • 机器学习 & 深度学习编程笔记

    如果不加噪音就成了正常的线性函数了,所以要加噪音。 torch.normal(0, 0.01, y.shape)是一个用于生成服从正态分布的张量的函数。其中,0代表均值,0.01代表标准差,y.shape表示生成的张量的形状与y相同。具体而言,该函数会生成一个张量,其元素值是从均值为0、标准差为0.01的正

    2024年02月16日
    浏览(103)
  • 深度学习的学习笔记帖子

    关于RGB图像通道的意义 : https://zhuanlan.zhihu.com/p/369907785 最大池化、平均池化、自适应平均池化 : https://blog.csdn.net/qq_38737428/article/details/121523145 https://blog.csdn.net/qq_38737428/article/details/121780217 Sequential的用法 : https://blog.csdn.net/qq_27825451/article/details/90551513 view函数的使用 : https

    2024年02月22日
    浏览(59)
  • Pytorch深度学习 - 学习笔记

    dir() :打开,看见包含什么 help() :说明书 pytorch中读取数据主要涉及到两个类 Dataset 和 Dataloader 。 Dataset可以将可以使用的数据提取出来,并且可以对数据完成编号。即提供一种方式获取数据及其对应真实的label值。 Dataloader为网络提供不同的数据形式。 Dataset Dataset是一个抽

    2024年02月07日
    浏览(45)
  • 【李沐】动手学深度学习 学习笔记

    你好! 这是【李沐】动手学深度学习v2-基于pytorch版本的学习笔记 教材 源代码 安装教程(安装pytorch不要用pip,改成conda,pip太慢了,下载不下来) 个人推荐学习学习笔记 数据操作   本节代码文件在源代码文件的chapter_preliminaries/ndarray.ipynb中 创建数组   创建数组需要:

    2024年02月16日
    浏览(57)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包