DBT工具简介

这篇具有很好参考价值的文章主要介绍了DBT工具简介。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

What is DBT

在将数据加载到集中式数据仓库之前,必须对其进行清理、保持一致并根据需要进行组合。换句话说,必须转换数据,这就是我们所谓的 ETL(提取、转换、加载)和 ELT 中的“T”。

这是挖掘数据价值的关键一步。

而DBT是一个专门处理“T”的工具。

该工具是一个开发框架,将模块化 SQL 与软件工程最佳实践相结合,使数据转换可靠、快速且有趣。

dbt(数据构建工具)使具有数据分析师技能的人可以使用简单的选择语句来转换仓库中的数据,从而有效地使用代码创建整个转换过程。您可以使用 SQL 编写自定义业务逻辑、自动执行数据质量测试、部署代码,并通过与代码并行的数据文档交付可信数据。由于市场上数据工程专业人员的短缺,这在今天比以往任何时候都更加重要。任何了解 SQL 的人现在都可以构建生产级数据管道,从而降低了以前限制传统技术人员配备能力的进入壁垒。

简而言之,dbt(数据构建工具)将您的数据分析师转变为工程师,并允许他们拥有整个分析工程工作流程。

Why we need dbt or why we choose it.

1、更低的学习成本、更快的响应速度:任何知道如何编写 SQL SELECT 语句的人都可以构建模型、编写测试和安排作业,以生成可靠、可操作的数据集以进行分析。该工具充当数据仓库顶部的编排层,以改进和加速数据转换和集成过程。

2、更加规范的流程:dbt采用了工程式的开发方式,而非传统的散碎的sql脚本,更加方便我们协同开发、版本控制、迭代等。

3、更好的扩展性:原生支持jinjia,我们可以通过宏、sql模板增加代码的复用性,更简单的进行模块化开发。

4、更好的适配性:支持airByte、airFlow。原生支持postgres、BigQuery、SnowFlak等,同时对mysql等关系型数据库提供了对应的兼容插件。

5、可视化的文档,更加容易的监控数据关系、血缘

6、dbt core 开源

7、良好且持续增长的社区

How does it work

原理:获取您的DBT项目代码,编译成SQL,并通过执行器在您的数据库中运行。

How to use it

DBT工具简介

定义了 customer表最终的数据

通过dbt run 命令 执行

DBT工具简介

转换结果

DBT工具简介

Tips

1、dbt可以配置多线程,每个线程单独执行一个model

2、调优的时候,性能瓶颈不在dbt上,因为dbt是编译为sql命令后基于数据源执行的。所以当我们有数仓或高性能数据库集群的时候,我们完全可以不担心转换的性能问题。文章来源地址https://www.toymoban.com/news/detail-449183.html

到了这里,关于DBT工具简介的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • VMware vCenter Server 8.0U1 发布 - 集中式管理 vSphere 环境

    请访问原文链接:VMware vCenter Server 8.0U1 - 集中式管理 vSphere 环境,查看最新版。原创作品,转载请保留出处。 作者主页:sysin.org 2023-04-18, VMware vSphere 8.0U1 发布。 详见:VMware vSphere 8 Update 1 新增功能 VMware vCenter Server 是一款高级服务器管理软件,提供了一个集中式平台来控制

    2024年02月05日
    浏览(45)
  • [设计模式Java实现附plantuml源码~创建型] 集中式工厂的实现~简单工厂模式

    前言: 为什么之前写过Golang 版的设计模式,还在重新写Java 版? 答:因为对于我而言,当然也希望对正在学习的大伙有帮助。Java作为一门纯面向对象的语言,更适合用于学习设计模式。 为什么类图要附上uml 因为很多人学习有做笔记的习惯,如果单纯的只是放一张图片,那

    2024年01月19日
    浏览(51)
  • 【信息融合与状态估计】基于Kalman滤波和现代时间序列分析方法,利用集中式融合估计、分布式融合估计(按矩阵加权、按对角阵加权、按标量加权)、 协方差交叉融合等方法实现对状态的融合估计(Matlab)

    💥💥💞💞 欢迎来到本博客 ❤️❤️💥💥 🏆博主优势: 🌞🌞🌞 博客内容尽量做到思维缜密,逻辑清晰,为了方便读者。 ⛳️ 座右铭: 行百里者,半于九十。 📋📋📋 本文目录如下: 🎁🎁🎁 目录 💥1 概述 📚2 运行结果 2.1 改进的CI融合估值器 2.2 基于现代时间

    2024年01月15日
    浏览(55)
  • DBT工具简介

    在将数据加载到集中式数据仓库之前,必须对其进行清理、保持一致并根据需要进行组合。换句话说,必须转换数据,这就是我们所谓的 ETL(提取、转换、加载)和 ELT 中的“T”。 这是挖掘数据价值的关键一步。 而DBT是一个专门处理“T”的工具。 该工具是一个开发框架,

    2024年02月05日
    浏览(30)
  • 数据转换工具DBT介绍及实操(上)

    一、什么是DBT dbt (data build tool)是一款流行的开源数据转换工具,能够通过 SQL 实现数据转化,将命令转化为表或者视图,提升数据分析师的工作效率。dbt 主要功能在于转换数据库或数据仓库中的数据,在 E(Extract)、L(Load)、T(Transform) 的流程中,仅负责转换(transf

    2024年02月12日
    浏览(44)
  • 银行数据仓库体系实践(1)--银行数据仓库简介

            数据仓库之父比尔(Bill Inmon)在1991年出版的“Building the Data Warehouse”(《建立数据仓库》)一书中所提出的定义被广泛接受:数据仓库(Data Warehouse)是一个面向主题的(Subject Oriented)、集成的(Integrated)、相对稳定的(Non-Volatile)、反映历史变化(Time Variant)的

    2024年01月17日
    浏览(46)
  • 通过 DVT 和 dbt 测试监控Airbyte数据管道

    为数据复制或数据迁移构建 ELT 数据管道的一个重要部分是能够在出现错误时进行监视并获得通知。如果您不知道错误,您的数据将包含不一致之处,并且您的报告将不准确。由于使用的工具数量众多,大多数管道的复杂性使得设置监视和警报系统更具挑战性。 在本文中,我

    2023年04月08日
    浏览(33)
  • Hive数据仓库简介

    Hive起源于Facebook,Facebook公司有着大量的日志数据,而Hadoop是实现了MapReduce模式开源的分布式并行计算的框架,可轻松处理大规模数据。然而MapReduce程序对熟悉Java语言的工程师来说容易开发,但对于其他语言使用者则难度较大。因此Facebook开发团队想设计一种使用SQL语言对日

    2024年02月15日
    浏览(57)
  • 数据仓库简介

    数据仓库,英文名称为Data Warehouse,可简写为DW或DWH。数据仓库,是为企业所有级别的决策制定过程,提供所有类型数据支持的战略集合。它是单个数据存储,出于分析性报告和决策支持目的而创建。 为需要业务智能的企业,提供指导业务流程改进、监视时间、成本、质量以

    2024年01月21日
    浏览(25)
  • 数据仓库—ETL工具与技术:数据仓库的坚实基石

    作为一名长期从事数据仓库领域的专业人士,我深知ETL(Extract, Transform, Load)工具和技术在构建和维护数据仓库中的核心作用。ETL不仅是数据流动的桥梁,更是确保数据质量和支持业务智能决策的关键环节。在这篇文章中,我将分享对ETL工具和技术的深入理解,以及它们在实

    2024年04月13日
    浏览(44)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包