【大数据架构(3)】Lambda vs. Kappa Architecture-选择你需要的架构

这篇具有很好参考价值的文章主要介绍了【大数据架构(3)】Lambda vs. Kappa Architecture-选择你需要的架构。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

比较总览

  • Lambda architecture uses separate batch and stream processing systems, making it scalable and fault-tolerant but complex to set up and maintain (as it duplicates processing logic).
  • Kappa architecture simplifies the pipeline with a single stream processing system as it treats all data as streams, providing flexibility and ease of maintenance, but requires experience in stream processing and distributed systems.

Lambda architecture is well-suited when companies have mixed requirements for stream and batch processing, e.g., for real-time analytics and multiple batch processing tasks or data lakes, while Kappa architecture is ideal for continuous data pipelines, real-time data processing, and IoT systems.

一. Data Processing Architectures

数据处理架构被设计为处理数据摄入、处理、以及存储大数据量。这使得组织可以从数据中分析、抽取出有价值的洞察,这帮助他们提高决策,优化操作以及驱动生长。

如下有lamba和kappa架构,都可用于处理不同类型的数据。企业需要考虑他们的数据处理需求,以便找到合适的架构来实现他们的目标和需求。

 

1. Lambda Architecture

1.1. 架构说明

lambda架构提供了一个用于处理大数据的可拓展、容错和灵活的系统,这是Nathan Marz在2011提出的,主要用于解决处理实时需求。

lamba架构使用两个处理系统来处理实时和离线任务。离线系统处理批数据,并存储在例如数据仓库,或分布式文件系统中。实时系统用于处理实时数据,并存储在分布式数据层。

kappa架构和lambda架构的选型,大数据架构,大数据,架构,wpf

 

lamba架构中,有四层,用于处理和存储大数据,如下:

a. Data Ingestion Layer

这层用于收集和存储数据,比如log日志,传感器、消息队列和API等。数据通常是实时摄取的,并同时被送入批处理层和速度层。

 

b. Batch Layer (Batch processing)

批处理层用于处理大数据并存储到数据仓库、或分布式文件系统中。此层可以使用hadoop或spark来处理数据。批处理层用于处理大数据,并提供所有数据的完整视图。

 

c. Speed Layer (Real-Time Data Processing)

速度层用于处理实时数据,并存储到例如消息队列或者NoSQL数据库中。此层可以使用FLink或storm。流数据层用于处理大数据流,并提供最新的数据视图。

d. Serving Layer

服务层是 Lambda 架构的一个组件,负责实时向用户提供查询结果。通常作为批处理层和流处理层之上的一层实现。它通过查询层访问,该层允许用户使用查询语言(例如 SQL 或 Apache Hive 的 HiveQL)查询数据。

服务层旨在提供快速可靠的访问查询结果的能力,无论数据是从批处理还是流处理层访问。它通常使用分布式数据存储,如 NoSQL 数据库或分布式缓存,来存储查询结果并实时向用户提供。

服务层是 Lambda 架构的重要组成部分,因为它允许用户以一致的方式访问数据,而不受底层数据处理架构的影响。它还在支持实时应用程序方面发挥着关键作用,例如需要快速访问最新数据的仪表板和分析应用程序。

 

1.2. Lambda Architecture的优缺点

优点:

  • 可伸缩性:Lambda 架构被设计用于处理大量数据,并且可以水平扩展,以满足业务的需求。
  • 容错性:Lambda 架构被设计为容错性强,具有多个层和系统共同工作,以确保数据可靠地处理和存储。
  • 灵活性:Lambda 架构灵活,可以处理各种数据处理工作负载,从历史批处理到流式架构。

 

缺点:

  • 复杂性:
    Lambda架构是一个复杂的系统,使用多个层和系统来处理和存储数据。对于不熟悉分布式系统和数据处理框架的企业来说,建立和维护它可能具有挑战性。尽管其层被设计用于不同的流水线,但底层逻辑存在重复部分,这会给程序员带来不必要的编码开销。

  • 错误和数据不一致性:
    由于不同工作流程的实现被复制了两次(尽管遵循相同的逻辑,实现方式不同),您可能会遇到批处理和流处理引擎产生不同结果的问题。这很难发现,很难调试。(所以使用同一个架构去处理任务、或合并需求(比如:整表同步+增量同步)到同一个任务中,对于系统和数据维护很重要

  • 架构锁定:
    重新组织或迁移存储在 Lambda 架构中的现有数据可能非常困难。

 

1.3. 使用案例

Lambda 架构是一种适用于各种数据处理工作负载的数据处理架构。

  • 它特别适用于处理大量数据并提供低延迟的查询结果,因此非常适用于实时分析应用程序,如仪表板和报告。
  • Lambda 架构还非常适用于批处理任务,例如数据清洗、转换和聚合,以及流处理任务,例如事件处理、机器学习模型、异常检测和欺诈检测。
  • 此外,Lambda 架构通常用于构建数据湖,这是集中存储结构化和非结构化静态数据的存储库,并且非常适合处理物联网设备生成的高容量数据流。

 

2. Kappa Architecture

2.1. Kappa Architecture特点

Kappa 架构是一种数据处理架构,旨在为实时处理大量数据提供可伸缩、容错和灵活的系统。它作为 Lambda 架构的一种替代方案而开发,Lambda 架构使用两个独立的数据处理系统来处理不同类型的数据处理工作负载。

In contrast to Lambda, Kappa architecture uses a single data processing system to handle both batch processing and stream processing workloads, as it treats everything as streams. This allows it to provide a more streamlined and simplified data processing pipeline while still providing fast and reliable access to query results.

与 Lambda 不同,Kappa 架构使用单一的数据处理系统来处理批处理和流处理工作负载,因为它将所有内容都视为流。这使其能够提供更简化、更流畅的数据处理管道,同时仍然能够快速可靠地访问查询结果。

kappa架构和lambda架构的选型,大数据架构,大数据,架构,wpf

 

Speed Layer (Stream Layer)

在 Kappa 架构中,只有一个主要层:流处理层。该层负责收集、处理和存储实时流数据。

您可以将其视为 Lambda 方法的演进,去除了批处理系统。通常使用流处理引擎实现,如 Apache Flink、Apache Storm、Apache Kinesis、Apache Kafka(或许多其他流处理框架),旨在处理高容量的数据流并快速可靠地提供。

在 Kappa 架构中,流处理层分为两个主要组件:摄取组件和处理组件。

  • 摄取组件:
    该组件负责收集传入数据并存储来自各种来源的原始数据,例如日志文件、传感器和 API。数据通常是实时摄取的,并存储在分布式数据存储中,如消息队列或 NoSQL 数据库中。

  • 处理组件:
    该组件负责在数据到达时进行处理,并将结果存储在分布式数据存储中。通常使用流处理引擎实现,例如 Apache Flink 或 Apache Storm,并设计用于处理高容量数据流并快速可靠地提供对查询结果的访问。在 Kappa 架构中,没有单独的服务层。相反,流处理层负责实时向用户提供查询结果。

kappa架构和lambda架构的选型,大数据架构,大数据,架构,wpf

 

2.2. 优缺点

优点:

  1. 简洁和流畅的流水线:
    Kappa 架构使用单一的数据处理系统来处理批处理和流处理工作负载,相较于 Lambda架构,这使得其建立和维护更为简单。通过减少编码开销,这可以使数据处理流水线更容易管理和优化。

  2. 支持对历史数据进行高吞吐量的大数据处理:
    尽管可能感觉 Kappa 架构并非专为这类问题设计,但它能够优雅地支持这些用例,允许直接从流处理作业进行数据重新处理。

  3. 迁移和重组的便利性:
    由于只有一个流处理流水线,可以通过从规范数据存储中创建新数据流(比如flink任务进行集群数据迁移ing)来执行迁移和重组。

  4. 分层存储:

  • 分层存储是一种根据数据的访问模式和性能需求将数据存储在不同存储层中的方法。分层存储的思想是通过将不同类型的数据存储在最合适的存储层上,优化存储成本和性能。
  • 例如,企业可能选择将历史数据存储在更低成本、容错性强的分布式存储层,如对象存储中,同时将实时数据存储在性能更高的存储层,如分布式缓存或 NoSQL 数据库中。分层存储使 Kappa 架构成为一种具有成本效益和弹性的数据处理技术,无需传统数据湖(ing)。

缺点:

  • 复杂性:
    尽管 Kappa 架构比 Lambda更简单,但对于那些不熟悉流处理框架的企业来说,建立和维护仍然可能很复杂(回顾流处理中的常见挑战)。

  • 高昂的基础设施费用和可伸缩性问题(当设置不当时):
    在事件流平台中存储大数据可能成本高昂。为了使其更具成本效益,可以使用云提供商的数据湖方法(如 AWS S3 或 GCP Google Cloud Storage)。另一种常见的大数据架构方法是使用 Apache Kafka 作为流层构建“流式数据湖”,(ing)并使用对象存储来实现长期

kappa架构和lambda架构的选型,大数据架构,大数据,架构,wpf

 

2.3. 使用场景

a. 大量实时场景

Kappa 架构是一种数据处理架构,旨在为实时处理大量数据提供灵活、容错和可扩展的架构。它非常适用于各种实时数据处理、机器学习模型和实时数据分析、物联网系统等许多使用情况,都可以通过单一技术堆栈实现。

kappa架构和lambda架构的选型,大数据架构,大数据,架构,wpf
 

b. 实时数仓

kappa架构和lambda架构的选型,大数据架构,大数据,架构,wpf

和lambda架构相比,kappa架构没有离线数仓,通过kafka实现了实时数仓。kafka的存储代替了lambda架构中的批处理部分。

此架构优点:

  • Kafka可以保存更长时间的历史数据,它不仅起到消息队列的作用,也可以存储数据,替代数据库。
  • Flink流处理引擎解决了事件乱序下计算结果的准确性问题。
  • Kappa架构相对更简单,实时性更好,所需的计算资源远小于Lambda架构,随着实时处理需求的不断增长,更多的企业开始使用Kappa架构。

 

此架构缺点:

  1. kappa架构中用的kafka,本身kafka只是一个消息中间件,对于长周期历史的存储还是不行。
  2. 没有血缘关系管理
    里面的数据都是以topic的形式存储,无法像离线数仓一样,通过schema和表名来确定数据血缘。比如一个数据有问题,你不知道下游收到的影响范围,也不知道受影响的严重性,只能广而告之。对于一些损失无法做到及时的发现及阻断就很被动。
  3. 不支持update
    这个是kappa架构最严重的问题。举个例子,实时数仓里有个5分钟的窗口,假设有一条数据发生时延,没有按时到达,那么5分钟后就会按照逻辑完成计算。因为没有update,这条数据没有被计算,结果也就从这时候开始出错。

 

二. Comparison of Lambda and Kappa Architectures

1. Data Processing Systems

  • Lambda 架构使用两个独立的数据处理系统来处理不同类型的数据处理工作负载:一个批处理系统和一个流处理系统。
    在 Lambda 架构中,程序员需要学习和维护两个处理框架,并以加倍的方式支持任何日常代码更改。这种分离(如果没有以相同的方式实现)可能导致流处理与批处理产生不同的结果,从而可能引发进一步的业务问题
  • 相比之下,Kappa架构则通过单一的流处理引擎(流层)来处理完整的数据处理。
    Kappa 架构在实时处理数据时使用相同的代码,消除了为批处理和流处理维护单独代码库的额外工作的需要。这使其成为一种更高效、不易出错的解决方案。

 

2. Data Storage

  • Lambda 架构具有单独的长期数据存储层,用于存储历史数据并执行复杂的聚合操作。
  • 而 Kappa 架构则没有单独的长期数据存储层,所有数据都由流处理系统处理和存储

 

3. Complexity

  • 与 Kappa 架构相比,Lambda 架构通常更复杂,设置和维护都需要更多的工作,因为它需要两个独立的数据处理系统,并且需要持续的维护来确保批处理和流处理系统的正常高效运行。
  • Kappa 架构通常更简单,因为它使用单一的数据处理系统来处理所有数据处理工作负载。

然而,Kappa 架构需要一种思维方式的转变,将所有数据都视为流,并且需要对流处理和分布式系统有丰富的经验

 

三. The Importance of Choosing the Right Data Processing Architecture for a Business

数据处理架构的选择对企业至关重要,因为它影响数据处理管道的可伸缩性、性能和灵活性。企业选择一种满足其特定需求的大数据架构,并在做出决策之前仔细考虑每种选择的优缺点是非常重要的。

  • 通常情况下,如果您正在构建一个需要实时数据访问的系统,那么首选 Kappa 架构。随着经验的积累,您将能够掌握流式处理的方式,从而支持所有工作流程。
  • 当业务量不大,实时业务需求并没有那么明显,也可以选择Lambda架构。

 

参考:
https://nexocode.com/blog/posts/lambda-vs-kappa-architecture/文章来源地址https://www.toymoban.com/news/detail-846942.html

到了这里,关于【大数据架构(3)】Lambda vs. Kappa Architecture-选择你需要的架构的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • Matlab Kappa系数和总体精度OA计算

    2024年02月15日
    浏览(39)
  • 混淆矩阵计算遥感分类精度(总体精度、Kappa系数、用户精度、生产者精度等)

    用户精度 (User’s Accuracy): 假设分类结果的某类别的用户精度为 80%,则用户拿到分类结果后,10个像元中有8个是对的,2个是错的; 生产者精度 (Producer’s Accuracy): 假设分类结果的某类别的生产者精度为 80%,那么如果该类别有10个像素的话,则有2个没有分到该类别(丢失了)。

    2024年04月10日
    浏览(98)
  • Python计算分类问题的评价指标(准确率、精确度、召回率和F1值,Kappa指标)

    机器学习的分类问题常用评论指标有:准确率、精确度、召回率和F1值,还有kappa指标 。 每次调包去找他们的计算代码很麻烦,所以这里一次性定义一个函数,直接计算所有的评价指标。 每次输入预测值和真实值就可以得到上面的指标值,很方便。 下面是这些指标的计算公

    2024年01月21日
    浏览(59)
  • 数据分析Lambda架构详解

      大家好,今天我们来介绍一个用于亿级实时数据分析架构Lambda架构。   Lambda架构(Lambda Architecture)是由Twitter工程师南森·马茨(Nathan Marz)提出的大数据处理架构。这一架构的提出基于马茨在BackType和Twitter上的分布式数据处理系统的经验。 Lambda架构使开发人员能够构建大

    2024年02月12日
    浏览(40)
  • 打开vs2010,提示无效的许可证数据,需要重新安装

    运 遇到几次安装失败的情况。也在网上查找了很多方法。 vs注册有一个独立的工具,对于 vs2015,在 C:Program Files (x86)Microsoft Visual Studio 14.0Common7IDEDDConfigCA.exe, 对于2010,目录在Microsoft Visual Studio 10.0Common7IDEDDConfigCA.exe, 1.选择管理员身份运行; 2.重启vs,然后就好了。 修

    2024年02月07日
    浏览(47)
  • 单体架构 Monolithic Architecture

    单体架构是一种传统的软件架构模式,其中整个应用程序被构建为一个单一、完整的代码库和部署单元。 在单体架构中,所有的功能、模块和组件都打包在一起,通常使用同一种编程语言和技术栈。 优势 简单性: 单体架构相对来说比较简单,因为所有的功能都在一个代码库

    2024年02月12日
    浏览(42)
  • 详解分层架构 Layered Architecture

    作者:禅与计算机程序设计艺术 Layered Architecture(层次化架构)是一种软件设计方法,将系统分成多个层次或抽象级别,每个层都由一组相互协作的模块和服务构成。各层之间通过接口协议进行通信,并可通过向上层提供的服务或功能接口集调用下层的服务或功能。这种结构

    2024年02月08日
    浏览(45)
  • TOGAF—架构(Architecture)项目管理

    架构(Architecture)项目在本质上通常是复杂的。他们需要适当的项目管理来保持正轨并兑现承诺。本指南适用于负责规划和管理架构(Architecture)项目的人员。我们解释了如何用事实上的方法和标准(如PRINCE2®或PMBOK®)来补充TOGAF®架构开发方法(ADM),以加强项目管理并提

    2024年02月04日
    浏览(46)
  • 打开vs2010,提示无效的许可证数据,需要重新安装 方法一:重新注册

    运 遇到几次安装失败的情况。也在网上查找了很多方法。 vs注册有一个独立的工具,对于 vs2015,在 C:Program Files (x86)Microsoft Visual Studio 14.0Common7IDEDDConfigCA.exe, 对于2010,目录在Microsoft Visual Studio 10.0Common7IDEDDConfigCA.exe, 1.选择管理员身份运行; 2.重启vs,然后就好了。 修

    2024年02月12日
    浏览(47)
  • 深入理解 Android 架构 Clean Architecture(补充篇)

    在前两篇的介绍篇和解析篇中,我们已经对 Clean Architecture 的核心思想和层次结构进行了初步了解。然而,我发现遗漏了部分知识点,本篇将逐一讲解补充,最后介绍项目实践。 在介绍篇中提到的关于 Clean Architecture 图解,其实每一层中都包含了一些我们不需要的东西,因为

    2024年02月03日
    浏览(51)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包