Debezium的三种部署方式

这篇具有很好参考价值的文章主要介绍了Debezium的三种部署方式。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

Debezium如何部署

debezium 有下面三种部署方式,其中最常用的就是 kafka connect。

kafka connect

一般情况下,我们通过 kafka connect 来部署 debezium,kafka connect 是一个框架和运行时:

  • source connectors:像 debezium 这样将记录发送到 kafka 的source connector
  • sink connectors:将记录从 kafka topic传播到其他系统的 sink connector

下图展示了一个基于 debezium 的 CDC pipeline 的架构,这里 debezium 作为一个 kafka connect 的一种 source connector。

Debezium的三种部署方式,debezium通关,debezium,部署,CDC

如图所示,debezium mysql 连接器用来捕获对 mysql 数据库的更改,debezium postgreSQL 连接器用来捕获对于 postgres 数据库的更改。

每个 debezium 连接器都会建立一个到源数据库的连接:

  • mysql连接器使用一个客户端库来访问 binlog;
  • postgres 连接器从逻辑复制流中读取数据。

默认情况下,一个数据库表的更改被写入一个 Kafka topic,当然也可以通过topic 重路由将更改写入到指定的 topic,或者将多个数据库表的更改写入到同一个 topic。

而Kafka Connect作为Kafka broker之外的一个独立服务运行。

在更改事件到达 Apache Kafka 之后,Kafka Connect 生态系统中的不同 sink connector 可以将记录流式传输到其他系统和数据库,如Elasticsearch,数据仓库和分析系统,或缓存。

debezium server

第二种部署Debezium的方法是使用Debezium服务器。Debezium服务器是一个可配置的、随时可用的应用程序,它将更改事件从源数据库流式传输到各种消息传递基础设施。

下图显示了使用Debezium服务器的CDC pipeline的架构:

Debezium的三种部署方式,debezium通关,debezium,部署,CDC

Debezium服务器配置为使用Debezium源连接器之一从源数据库捕获更改。变更事件可以序列化为不同的格式,如JSON或Apache Avro,然后将被发送到各种消息基础设施之一,如Amazon Kinesis, Google Cloud Pub/Sub或Apache Pulsar。

参考:https://debezium.io/documentation/reference/1.6/operations/debezium-server.html

embedded engine

第三种部署方式是将 debezium connector 作为一种嵌入式引擎。在这种情况下,Debezium不会通过Kafka Connect运行,而是作为一个library嵌入到你的自定义Java应用程序中。

优点:不需要部署完整的 kafka 和 kafka connect 集群。

适用场景:

  • 在应用程序中消费更改事件,而不是将更改事件发送到 kafka topic;
  • 将更改事件流式传输到其他消息代理。

参考:https://debezium.io/documentation/reference/1.6/operations/embedded.html文章来源地址https://www.toymoban.com/news/detail-692955.html

到了这里,关于Debezium的三种部署方式的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • Debezium系列之:在 Kubernetes 上部署 Debezium

    K8s相关知识可以阅读博主以下几篇技术博客: K8s系列之:搭建高可用K8s v1.23.5集群详细步骤,3个master节点,3个Node节点 K8s系列之:Pod的基本用法 k8s系列之:kubectl子命令详解一 k8s系列之:kubectl子命令详解二 更多K8s知识点详见博主K8s系列文章 更多Debezium内容请阅读博主Debezi

    2024年02月11日
    浏览(32)
  • Flink CDC 2.4 正式发布,新增 Vitess 数据源,更多连接器支持增量快照,升级 Debezium 版本

    Flink CDC [1] 是基于数据库的日志 CDC 技术,实现了全增量一体化读取的数据集成框架。配合 Flink 优秀的管道能力和丰富的上下游生态,Flink CDC 可以高效实现海量数据的实时集成。 作为新一代的实时数据集成框架,Flink CDC 具有全增量一体化、无锁读取、并行读取、表结构变更

    2024年02月12日
    浏览(31)
  • Debezium日常分享系列之:在 OpenShift 上部署 Debezium

    此过程用于在 Red Hat 的 OpenShift 容器平台上设置 Debezium 连接器。要在 OpenShift 上进行开发或测试,您可以使用 CodeRady 容器。 为了使容器与集群上的其他工作负载分开,请为 Debezium 创建一个专用项目。在本文档的其余部分中,将使用 debezium-example 命名空间: 对于 Debezium 部署,

    2024年02月16日
    浏览(27)
  • Flink CDC 2.4 正式发布,5分钟了解CDC 2.4新内容,新增 Vitess 数据源,更多连接器支持增量快照,升级 Debezium 版本

    来源:https://ververica.github.io/flink-cdc-connectors/master/ Flink CDC [1] 是基于数据库的日志 CDC 技术,实现了全增量一体化读取的数据集成框架。配合 Flink 优秀的管道能力和丰富的上下游生态,Flink CDC 可以高效实现海量数据的实时集成。 具体关于Flink CDC是什么?可以看下这篇文字 作

    2024年02月12日
    浏览(35)
  • Debezium同步之同步部署

    目录 1. Docker 安装 参考网站: 1.1 删除旧版本 1.2 安装 Docker Engine-Community 1.

    2023年04月24日
    浏览(16)
  • Weblogic部署项目的三种方式

    在weblogic中部署项目通常有三种方式:第一,在控制台中安装部署;第二,将部署包放在domain域中autodeploy目录下部署;第三,使用域中配置文件config.xml 进行项目的部署。 1  启动weblogic服务,登录到weblogic控制台页面,输入用户名和密码,登录到控制台里面 2  点击左侧的部署

    2024年04月09日
    浏览(25)
  • Hive:元数据的三种部署方式

    1.内嵌模式示意图: 2.Derby数据库: Derby数据库是Java编写的内存数据库,在内嵌模式中与应用程序共享一个JVM,应用程序负责启动和停止。 初始化Derby数据库 1)在hive根目录下,使用/bin目录中的schematool命令初始化hive自带的Derby元数据库 [atguigu@hadoop102 hive]$ bin/schematool -dbType

    2024年01月17日
    浏览(32)
  • Windows部署Jar包的三种方式

    1、cmd命令启动 这种方式比较简单,但是窗口关闭后服务也就被杀死了,命令如下 2、bat脚本启动 2.1 启动jar包 新建一个bat脚本,内容如下: 其中 F:IdeaProjectsim-apitargetim-api-0.0.1-SNAPSHOT.jar 是我jar包的绝对路径, imApiLog.log 将日志存储到该文件。右键该bat文件以管理员方式运行

    2024年02月02日
    浏览(33)
  • Tomcat部署web项目的三种方式

    方式一 利用Tomcat的自动部署,直接将IDE工具打包好的war包,放在tomcat的webapps目录下面,启动tomcat即可 方式二 在conf/server.xml文件中的节点中添加这个配置 方式三 在conf/Catalina/localhost目录中添加一个xml文件,文件名最好和项目名一致 文件中的内容就是下面这个配置项和方式二

    2024年02月11日
    浏览(31)
  • k8s部署nginx的三种方式

    创作时间:2022-08-09 更新时间:2023-03-13 | 更新内容:修改deploy.yaml文件中service对pod的选择label;修改nfs的挂载路径为路径不能为文件,容器挂载路径不能为文件;更新nginx-configmap中default.conf的内容 | 感谢:西瓜蓬蓬 如遇到问题请联系。 使用kubernetes来部署nginx服务,nginx一般是

    2024年02月06日
    浏览(28)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包