【虹科干货】Redis Enterprise 自动分层技术:大数据集高性能解决方案

这篇具有很好参考价值的文章主要介绍了【虹科干货】Redis Enterprise 自动分层技术:大数据集高性能解决方案。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

越来越多的应用程序依赖于庞大的数据集合,而这些应用程序必须快速响应。借助自动分层,Redis Enterprise 7.2 帮助开发人员轻松创建超快的应用程序。何乐而不为?

 文章来源地址https://www.toymoban.com/news/detail-746966.html

Redis将数据存储在内存中,因此应用程序能以最快的速度检索和处理数据。然而,随着应用程序需要处理的数据越多,存储数据集所需的内存越大,所耗费的成本则更高,Redis Enterprise自动分层技术能很好地化解这个两难的局面。

 

 

 

一、问题:内存有限且昂贵

 

当应用程序访问的数据量很大,例如达到TB级时,开发人员就面临着内存有限的问题,他们一般使用基于磁盘的解决方案来在幕后支持 Redis。这样一来,开发人员就不得不在应用程序中构建整个数据管理系统,这意味着他们要把时间花在不相干的任务上。

 

利用 Redis Enterprise 的自动分层功能,开发人员可以使用固态硬盘(SSD)作为可用内存的一部分,将大容量数据库扩展到SSDRedis Enterprise 可以随时识别哪些数据应留在内存中,哪些数据应留在固态硬盘上,从而将吞吐量提高一倍,并将延迟减半。

 

因此,开发人员无需编写额外的代码或学习其他新技术。通过将动态 RAM 速外部存储相结合,Redis Enterprise 可以轻松高效地使用系统资源,同时还能快速访问数据。

 

 

 

二、自动分层的工作原理

 

自动分层可自动管理数据。它会将热数据转移 DRAM,并智能地将未使用的数据转移 SSD。这为依赖大型数据集的应用带来了新的可能性。

 

 

【虹科干货】Redis Enterprise 自动分层技术:大数据集高性能解决方案

 

 

通过将访问频率较低的冷数据转移到固态硬盘,开发人员可以优化内存使用,降低与大容量内存需求相关的成本。

 

实际上,这可以使数据量大的应用程序运行得更快,而无需开发人员额外付出。与仅使用 DRAM 的部署相比,它还能节省高达 70% 的基础硬件设施成本。而且,由于自动分层可以高效地自动管理数据访问模式,因此您无需花费时间(计算或人工筛选)来识别热数据和冷数据。

 

【虹科干货】Redis Enterprise 自动分层技术:大数据集高性能解决方案

 

 

 

为了增强这一功能,Redis 与创新的键值存储引擎 Speedb 建立了战略合作伙伴关系。我们将其技术整合为默认的自动分层引擎。

 

集成 Speedb 后,Redis Enterprise 的性能显著提升,在访问相同资源的情况下,吞吐量翻倍,延迟减半。这大大拓宽了可利用自动分层优势的用例范围。在这一改进之后,Redis Enterprise 使用自动分层的数据库规模由每个内核 5k ops/秒增至10k ops/秒。

 

 

【虹科干货】Redis Enterprise 自动分层技术:大数据集高性能解决方案

 

 

三、数据案例

 

我们来看一个案例。

 

下图展示了自动分层在实际工作负载场景中的性能演变示例。蓝色条代表使用以前的存储引擎(RocksDB)的 Redis Enterprise 6.4,红色条代表使用 Speedb 的 Redis Enterprise 7.2。在基础设施方面,我们使用 I4i.8xlarge AWS 实例在 10 个分片上托管 1TB 数据库,为实现高可用性,采用总共 20 个分片,为 1,024 个客户端提供服务。

 

 

 

为了模拟最标准的 Redis 用例,我们在 20% DRAM 和 80% SSD 的配置上定义了两种不同的有效载荷(1KiB 和 10KiB),并提供了三种可能的使用模式:平衡读/写(1:1)、重读(1:4)和重写(4:1)。在这两种情况下,我们测量了以每秒操作数为单位的吞吐量和相应的延迟。以下图表显示了结果。

 

 

【虹科干货】Redis Enterprise 自动分层技术:大数据集高性能解决方案

 RAM/SSD数据占比2:8,单次操作1KB值

 

 

RS 6.4 (RocksDB) 相比,RS 7.2 (Speedb) 改进了:

 

  • 85% 命中率时:每秒操作次数增加 1.4 倍至 1.6 倍,同时延迟降低高达 2.4 倍
  • 50% 命中率时:每秒操作次数增加 1.9 倍至 2.3 倍,同时延迟降低高达 3.8 倍

 

 

【虹科干货】Redis Enterprise 自动分层技术:大数据集高性能解决方案

 RAM/SSD数据占比2:8,单次操作10KB值

 

 

RS 6.4 (RocksDB) 相比,RS 7.2 (Speedb) 改进了:

 

  • 85% 命中率时:每秒操作次数增加 2.3 倍至 3.0 倍,同时延迟降低高达 3.0 倍
  • 50% 命中率时:每秒操作次数增加 2.1 倍至 3.5 倍,同时延迟降低高达 3.5 倍

 

在所有情况下,带有 Speedb 的 Redis Enterprise 7.2 都具有更好的吞吐量,这意味着维持这种性能水平所需的应用程序速度更快,基础设施更少。

 

 

四、应用场景

 

自动分层尤其适用于将数据分为热数据和冷数据的情况

 

 

 

1.移动银行

 

让我们来看看移动银行应用的例子。

 

如今,每个人的移动设备上都有银行应用程序。用户登录应用程序,获取余额,查看最后一笔交易,并获取其他相对较小和集中的信息。每个人都希望这一过程流畅、简单、即时。这些数据就是我们的热数据,存放在 Redis Enterprise 数据库的 DRAM 中。

 

用户希望获得更多信息的情况并不常见,例如旧交易记录--也许是两年前的税务数据。用户需要访问这些数据,但数据访问速度并不那么重要。这种数据集是我们的冷数据,可以保存在高速外部存储如固态硬盘中。

 

 

 

2.游戏行业

 

速度在游戏行业也很重要。例如,游戏应用对延迟有严格要求。另外,从本质上讲,游戏是一种潮流。随着时间的推移,游戏公司会积累越来越多的用户数据,并将其存储在用户资料数据库中但并非所有用户都是活跃用户。通过自动分层,活跃用户的资料数据可以存储在 DRAM 中,而其他用户的数据则存储在 SSD 中。

 

到了这里,关于【虹科干货】Redis Enterprise 自动分层技术:大数据集高性能解决方案的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 【虹科干货】Redis 开发者需要了解的缓存驱逐策略

    在你 搭建并配置了一个 Redis数据库 之后 , Redis成功地 提升了应用程序性能 。然而 这里有一个潜在问题, 随着缓存数据的快速增加和内存占用率的逐渐上升, 你 很快会发现 Redis缓存 容量即将达到硬件存储容量上限 。或许 你曾 听说 用 过缓存驱逐 来解决这个问题 ,但 究

    2024年02月08日
    浏览(48)
  • 【虹科干货】Redis企业版给DevOps团队带来了哪些价值?

    内存太贵?现代化转型太难?还在花费精力维护数据库基础设施?Redis Enterprise 在开源版的基础上增加了一整套包含管理、自动化、弹性以及安全等方面的功能,使其更适合企业级的应用场景。那么, Redis Enterprise 如何能成为为您节约成本的选择?   文章速览: 发现 1:为应

    2024年02月06日
    浏览(35)
  • “深入理解Redis:高性能缓存和数据存储技术解析“

    标题:深入理解Redis:高性能缓存和数据存储技术解析 摘要:本文将深入探讨Redis作为一种高性能缓存和数据存储技术的原理和用法。我们将从Redis的基本特性入手,介绍其在缓存和数据存储方面的优势,并通过实际示例代码展示如何使用Redis提升应用程序的性能和可靠性。

    2024年02月16日
    浏览(53)
  • 【虹科干货】逻辑数据库可能已经无法满足需求了!

    不可否认,单个Redis实例已经不能满足实际生产中的需求了。为了解决由此带来的问题,何不试试用专用实例代替逻辑数据库呢? 一、逻辑数据库可能已经无法满足需求的4个迹象 1.您有个“吵闹的邻居” PS:“吵闹的邻居”指同一个Redis OSS实例中其它繁忙的逻辑数据库。

    2024年02月07日
    浏览(56)
  • 【虹科干货】Lambda数据架构和Kappa数据架构——构建现代数据架构

    如何更好地构建我们的数据处理架构,如何 对 IT系统中的遗留问题进行现代化改造并将其转变为现代数据架构?该怎么为你的需求匹配最适合的架构设计呢,本文将分析两种最流行的基于速度的数据架构,为你提供一些思路。 文章速览: 什么是数据架构? 基于速度的数据架

    2024年02月05日
    浏览(55)
  • 【虹科分享】什么是Redis数据集成(RDI)?

    大量的应用程序、日益增长的用户规模、不断扩展的技术需求,以及对即时响应的持续追求。想想这些是否正是你在经历的。也许你尝试过自己构建工具来应对这些需求,但是大量的编码和集成工作使你焦头烂额。那你是否知道,有这样一个工具可以帮助你实现从缓存中执行

    2024年02月07日
    浏览(41)
  • 【虹科干货】设计微服务架构的原则

    微服务是一种软件架构策略,有利于改善整体性能和可扩展性。你可能会想,我的团队需不需要采用微服务,设计微服务架构有哪些原则?本文会给你一些灵感。 文章速览: 微服务设计 通过领域驱动设计实施微服务 选择技术栈 微服务设计架构的 5 个原则   微服务是一种软

    2024年02月05日
    浏览(43)
  • 【虹科分享】Redis 不仅仅是内存数据库

    Redis难道仅仅是内存数据库吗?No!加速金融交易!让视频游戏云服务快得令人难以置信!实现实时在线购买! 让我们从这些例子开始,探索一些 Redis可以实现的其他可能性! 文章速览: 基于实时分析和库存管理做出更明智的决策 实现数据和视频的流畅播放 提供关键数据的故障

    2024年02月06日
    浏览(45)
  • 【虹科干货】如何构建弹性、高可用的微服务?

    基于微服务的应用程序可实现战略性数字转型和云迁移计划,对于开发团队来说,这种架构十分重要。那么,如何来构建弹性、高可用的微服务呢? Redis Enterprise 给出了一个完美的方案。   文况速览:   什么是微服务架构? 为什么微服务很重要? Redis Enterprise :微服务的完美

    2024年02月05日
    浏览(64)
  • 技术干货 | pytest 自动化测试实战展示

    pytest是目前企业里面使用最多、最流行的Python的单元测试框架,那我们今天就使用这个框架来完成  一个网易163邮箱登录的自动化实战案例 。 下面我们先把我们案例需要的工具进行相关的介绍: pytest是一个非常成熟的Python单元测试框架,主要特点有以下几点: 简单灵活,容

    2024年02月05日
    浏览(49)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包