YRCloudFile V6.9.0 加速企业在大数据应用技术创新

这篇具有很好参考价值的文章主要介绍了YRCloudFile V6.9.0 加速企业在大数据应用技术创新。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

近日,焱融科技发布分布式文件存储产品 YRCloudFile 6.9.0 版本。该版本在功能和性能方面有多项技术性突破,主要包括大数据应用无缝对接 Hadoop ,为大数据应用提供高性能存储平台;独有的 Dataload 功能和智能分层细粒度化,更加精确丝滑地响应业务需求;同时实现 NFS/SMB 协议节点的动态管理,使并发访问性能进一步提升;最后在产品运维和管理方式上更加贴合系统运维人员的使用场景,操作快速便捷。

YRCloudFile 是焱融科技提供的新一代独立的混合云文件存储系统,基于灵活的 SDS 架构, 可提供 POSIX、NFS、SMB/CIFS 等丰富的文件服务,不仅可以用于企业的文件共享,大容量数据存储等通用场景,还能更成熟的应用于智能汽车、多模态 AI 、HPC 高性能计算、生物信息、GIS 等高性能计算应用场景。

在 6.9.0 版本中,YRCloudFile 主要进行了以下重要更新:

产品性能:动态增加 NFS/SMB 协议节点,提升整个 YRCloudFile 集群对外提供 NFS/SMB 并发访问性能。

产品功能:YRCloudFile 无缝对接 Hadoop 平台,将更易于扩展的存算分离架构与Hadoop 兼容,通过 YRCloudFile 可完美替代 HDFS。

用户体验:优化了资源占用等的界面统计信息。细化了智能分层、Dataload、日志审计、运维界面等,提升用户体验。

HDFS 100% 兼容大数据应用 + 极致性能文件存储平台

HDFS(Hadoop Distributed File System,即 Hadoop 分布式文件系统)作为 Hadoop 生态系统的一个重要组成部分,是 Hadoop 中的的存储组件,负责海量数据的存储。

随着大数据、数据湖在各个行业中的广泛应用,原生的 HDFS 在支撑大数据应用时,存在存算耦合、扩展不灵活的问题。YRCloudFile 6.9.0 版本,支持大数据相关框架,实现与 Hadoop / Spark / Hive / Presto / ClickHouse 的完全兼容,通过 YRCloudFile 可完美替代 HDFS。Hadoop 生态中的各种应用都可以在不改变代码的情况下,平滑地使用 YRCloudFile 存储并访问数据,实现更加贴合业务应用的存算分离架构,解耦资源。

YRCloudFile 提供的大数据存算分离解决方案中的文件存储服务避免在管理和运维上投入过多精力,使计算资源弹性伸缩,满足客户对计算资源的灵活调度,更好地利用公有云计算弹性伸缩的能力。与此同时,YRCloudFile 还支持对数据进行冷热分层,可将冷数据下刷到更低成本的对象存储中,大数据分析的存储成本大大降低。

例如在 AI、自动驾驶等场景中,大数据处理作为整个数据处理流程中的重要环节,通过 YRCloudFile 对大数据框架的支持,用户仅在一套 YRCloudFile 集群上,就轻松实现对所有数据处理环节的支持,减少数据在不同集群之间的重复拷贝,进一步提升企业内部对非结构化数据的处理效率。

 功能优化又双叒叕增强

冷热数据治理粒度更细

智能分层在海量数据全生命周期管理中非常实用,YRCloudFile 6.9.0 版本将分层策略粒度更加细化,新增分层下刷的任务状态和执行情况以及数据的历史记录功能,用户可实时掌握数据在冷热数据层之间的流动情况,更加强化管理。

数据流动功能更强大

为适应跨云和不同数据平台之间的数据流转需求,减少数据在不同集群之间的重复拷贝,进而提升企业内部对非结构化数据的处理效率。新版本 Dataload 功能支持用户多次导入导出的操作,随时满足在数据不断变化的状态下的数据更新需求。

日志审计功能

数据的关键操作记录,是系统管理员非常关注的系统运维工具。新版本增加日志审计功能,系统管理员可追溯客户端的删除、打开文件/目录等重要操作的相关信息;同时支持对接 ELK 等工具对审计日志进行分析处理。

在 Fluid 中增加 YRCloudFile Runtime 支持

Fluid 是一个开源的基于 Kubernetes 的分布式数据集编排和加速引擎,主要服务于云原生场景下的数据密集型应用,例如:大数据应用、AI 应用等。在计算和存储分离的大背景驱动下,Fluid 的目标是为 AI 与大数据云原生应用提供一层高效便捷的数据抽象,将数据从存储抽象出来。

通过 Kubernetes 服务提供的该数据层抽象,可以让数据在诸如 HDFS、OSS、Ceph 这样的存储源和 Kubernetes 上层的云原生应用计算之间灵活高效地移动、复制、驱逐、转换和管理。而具体的数据操作对用户透明,用户不必再担心访问远端数据的效率,或是管理数据源的便捷性,以及如何帮助 Kubernetes 做出恰当的调度决策等运维问题。用户只需以 Kubernetes 原生数据卷的方式直接访问抽象出来的数据,剩余任务交给 Fluid 完成。

YRCloudFile 开发了符合 Fluid Runtime 接口的 YRCloudFile Runtime,使用 Fluid 的接口来对接 YRCloudFile 的 DataLoad 功能,让容器用户在 YRCloudFile 中创建存储卷,只使用 Kubernetes 的 API 接口就可以高效地使用对象存储中的数据 ,大幅提高数据访问的速度和效率。

YRCloudFile V6.9.0 加速企业在大数据应用技术创新,文件存储,云计算,分布式

性能强化又双叒叕提升

NFS/SMB 协议节点动态管理

系统管理员可以在集群运行过程中,动态增加 NFS/SMB 协议节点,通过调整 NFS/SMB 的协议节点,提升整个 YRCloudFile 集群对外提供 NFS/SMB 并发访问性能。

追加写性能优化

新版本在确保不同客户端、多进程之间追加写的数据正确性的前提下,提升了客户端追加写性能。经过实际测试,在单客户端对文件进行持续追加写的场景下(日志的典型 IO 模型),性能提升 3-5 倍,在全闪环境下,性能提升更为显著。

运维管理能力又双叒叕增强

在 YRCloudFile 6.9.0 版本中,我们持续优化增强监控告警、运维的能力,包括对 InfiniBand Multi-Channel(多个 InfiniBand 网卡)聚合网络的监控、客户端简化安装配置、系统参数动态配置、集群扩容的优化等功能。让运维管理人员更清晰地了解存储系统工作情况,灵活管理数据,使 YRCloudFile 的易用性再次加强。

总结

YRCloudFile 在持续深化性能优化的同时,不断适应用户在更多使用上的业务需求,拓宽在应用场景、接口上的支持。后续我们会进一步分享大数据存储解决方案以及性能深度解读的文章,让大家更好地了解 YRCloudFile 6.9.0 版本新功能,敬请期待。文章来源地址https://www.toymoban.com/news/detail-802068.html

到了这里,关于YRCloudFile V6.9.0 加速企业在大数据应用技术创新的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 爬虫在大数据时代的应用

    在数字化时代,网络上充满了各种各样的资源和信息,如何高效地获取和利用这些信息,成为了很多人和企业所关注的问题。而爬虫技术,作为一种自动化的网络数据获取技术,正得到越来越多人的关注和使用。 一、什么是爬虫技术? 爬虫技术,即网络爬虫技术,是指通过

    2024年02月01日
    浏览(38)
  • STM32CubeMX v6.9.0 BUG:FLASH_LATENCY设置错误导致初始化失败

    今天在调试外设功能时,发现设置了使用外部时钟之后程序运行异常,进行追踪调试并与先前可以正常运行的项目进行对比之后发现这个问题可能是由于新版本的STM32CubeMX配置生成代码时的BUG引起的。 MCU: STM32H750VBT6 STM32CubeIDE: Version: 1.13.0 Build: 17399_20230707_0829 (UTC) STM32CubeMX: v

    2024年02月15日
    浏览(55)
  • 安全计算在大数据领域的应用:保护大数据资源与应用

    大数据技术在过去的几年里发展迅猛,已经成为企业和组织中不可或缺的一部分。随着数据的规模和复杂性的增加,数据安全和计算变得越来越重要。安全计算是一种处理大数据的方法,它关注于在大数据处理过程中保护数据的安全性和隐私。在本文中,我们将讨论安全计算

    2024年02月20日
    浏览(46)
  • python在大数据处理的应用

    python在大数据处理中是个万能的胶水,在很多地方用起来很舒适。 在处理大数据时,需要使用一些技术和工具来确保Python代码的高效性和可扩展性。一些有用的技术和工具如下: 使用numpy而不是纯Python列表。  numpy是一个Python库,提供了一些高效的数据结构,如n维数组,可以

    2024年02月02日
    浏览(43)
  • 【观察】以超融合创新架构,加速企业应用现代化

    我们知道,数字化转型的不断加速,核心就是应用的加速。在整个数字化体系中,软件应用是让一切发挥价值的落地路径。在应用发挥能力之前,企业需要进行大量软硬件准备以及应用开发工作;在应用开始发挥能力之,企业也需要进行大量的运维、管理、安全工作,来确保

    2024年02月15日
    浏览(42)
  • 消息队列技术在大数据中应用的价值

    作者:禅与计算机程序设计艺术 “消息队列”(Message Queue)即消息队列或消息系统,它是一个异步通信模型。其主要特征是在分布式环境下用于处理一系列的信息的传递。信息通过消息的形式从一个组件发送到另一个组件,而不需要直接通信。消息队列可以实现应用之间的

    2024年02月07日
    浏览(43)
  • Kafka在大数据处理中的应用

    Kafka是一种高可用的分布式消息系统,主要负责支持在不同应用程序之间进行可靠且持续的消息传输。这一过程中,消息数据的分摊、均衡和存储都是由Kafka负责完成的。 Kafka的主要功能包括消息的生产和消费。在消息生产方面,Kafka支持将消息发送到多个接收端,实现了应用

    2024年02月15日
    浏览(49)
  • 机器学习在大数据分析中的应用

    🎉欢迎来到AIGC人工智能专栏~探索机器学习在大数据分析中的应用 ☆* o(≧▽≦)o *☆嗨~我是IT·陈寒🍹 ✨博客主页:IT·陈寒的博客 🎈该系列文章专栏:AIGC人工智能 📜其他专栏:Java学习路线 Java面试技巧 Java实战项目 AIGC人工智能 🍹文章作者技术和水平有限,如果文中出现

    2024年02月11日
    浏览(48)
  • 挖掘AI潜能,企业快成长人工智能技术创新论坛西安站圆满落幕

    在以AI为引领的新一轮产业变革中,新产业、新业态和新模式不断涌现。新一代人工智能已成为推动科技跨越发展、产业优化升级、生产力整体跃升的驱动力量。一直肩负中国经济发展支撑任务的制造业,也伴随AI等新兴技术的不断成熟,逐渐走上了智能制造的新阶段。越来越

    2024年01月20日
    浏览(47)
  • 数学与大数据:数学在大数据处理中的应用

    大数据处理是当今信息技术领域的一个热门话题。随着数据的快速增长和存储容量的不断扩大,大数据处理技术已经成为了解决现实问题的关键。在这个过程中,数学在大数据处理中发挥着越来越重要的作用。本文将从以下几个方面进行探讨: 背景介绍 核心概念与联系 核心

    2024年02月20日
    浏览(45)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包