数仓工程师理解复杂业务的思考方法论

这篇具有很好参考价值的文章主要介绍了数仓工程师理解复杂业务的思考方法论。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

数仓工程师理解复杂业务的思考方法论

模型设计框架(业务过程驱动)还是在经典的三层数据模型架构下去进行,概念模型、逻辑模型、物理模型

首先概念模型其实是业务过程(流程图),其中需要考虑到几个方面:

1.数据 业务覆盖 业务感知、全业务流程图

2.过程 建模过程 实操      

3.服务 服务流程 流程把控

4.环境 数据架构 集成架构、分层架构、技术架构

5.组织 组织架构 项目团队分工合作

逻辑模型:深入懂业务

1. 主题覆盖 业务总线矩阵划分、设计主题

2.过程 过程管理

3.环境 上游系统

物理模型:落地

1.数据 主数据、参考数据、交易数据、数据质量

2.环境 下游系统、生命周期

3.组织 组织的实施能力

组织

合理配置:

第1种:针对数据处理流程的技术栈 做分工 -> 抽数、清晰sqoop、flume->建模 hive、impala、spark等 -> 集成,落地到CK、API(JAVA)-> 展示BI(Finereport、tableau)

第2种: 围绕模型团队细节  需求拆解 业务、产品经理  、模型设计 数仓工程师、 数据质量 运维工程师 按角色分工。

人员的能力评估矩阵:

1.业务理解能力

2.需求拆解能力

3.模型设计能力

4.全链路优化能力

5.数据治理能力

6.架构设计能力

数据质量:

检查机制

规则类型 技术 业务

覆盖面

检查周期 粒度

评估体系 评分卡

闭环机制

环境:

架构  选择相关数据源

上游数据  流入规模

下游数据 应用准入、应用服务模式、数据链路

生命周期 监管、平台、应用需求

模型数据全面性:

潜在需求满足的能力

历史数据追溯

满足上层应用的准入原则

模型数据准确性

业务与数据关系

加工逻辑正确

下游时效性

模型数据可访问:

方便查询和使用

技术人员易理解表间关系

模型数据时效性:

满足业务需要

模型设计加工不是时效性的障碍

上游时效

供数给下游的时效

 文章来源地址https://www.toymoban.com/news/detail-498959.html

到了这里,关于数仓工程师理解复杂业务的思考方法论的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 深入理解Java核心技术:Java工程师的实用干货笔记

    💂 个人网站:【 海拥】【神级代码资源网站】【办公神器】 🤟 基于Web端打造的:👉轻量化工具创作平台 💅 想寻找共同学习交流的小伙伴,请点击【全栈技术交流群】 在Java工程师的职业生涯中,深入理解Java核心技术是至关重要的。这不仅仅是为了更好地编写代码,还有

    2024年02月04日
    浏览(48)
  • AI提示词工程师/AIGC提示词工程师/prompt工程师/AI训练师学习路线图(元壤教育)

    系统学习,公众号搜索【元壤教育】开始学习吧 先窥全貌:Prompt工程师课程概述介绍 Prompt 工程师 优化工作流程 在 GPT 中编写提示词 文本到视觉 Midjourney prompts GPT-3.5/4 概述 GPT的未来 专家访谈 从概念开始:简单理解AIGC发展和产业机遇 AIGC的概念与起源 AIGC的发展三阶段 AIGC的

    2024年02月09日
    浏览(64)
  • 【备考网络工程师】如何备考2023年网络工程师之错题集篇(1)

    上半年试了一下软考的水,没想到居然过了,当然当时考的是初级-网络管理员,但是我觉得应该追求再高一些,正好比王勃说的穷且益坚,不坠青云之志。所以我得时刻保持自己学习的状态,为遇见明天更好的自己而加油,因此我也趁备战之初记录下来,有一起备考的赶紧加

    2024年02月09日
    浏览(39)
  • 【AIGC提示词工程师、AI提示词工程师、Prompts工程师、Midjourney培训】电商行业AIGC图像生成与内容创作学习路线图

    导言 关注【元壤教育】公众号进入平台开始系统学习之路。 AIGC(Stable Diffusion、DALL-E 和 Midjourney)助力电商行业降本增效、提升10倍生产力 一门深入全面的课程,专为对AI图像生成在电商行业应用感兴趣的人士打造,旨在帮助他们从零基础迈向专家级别。无需拥有任何相关经

    2024年02月10日
    浏览(52)
  • 260道网络安全工程师面试题(附答案)_安全服务工程师面试题

    由于我之前写了不少网络安全技术相关的文章和回答,不少读者朋友知道我是从事网络安全相关的工作,于是经常有人私信问我: 我刚入门网络安全,该怎么学? 想找网络安全工作,应该要怎么进行技术面试准备? 工作不到 2 年,想跳槽看下机会,有没有相关的面试题呢?

    2024年02月07日
    浏览(50)
  • Java工程师的职业规划Java工程师的持续发展和自我推广

    本人详解 作者:王文峰,参加过 CSDN 2020年度博客之星,《Java王大师王天师》作者 公众号:山峯草堂,非技术多篇文章,专注于天道酬勤的 Java 开发问题、中国国学、传统文化和代码爱好者的程序人生,期待你的关注和支持!本人外号:神秘小峯 转载说明:务必注明来源(

    2024年02月06日
    浏览(51)
  • 黑客和网络安全工程师有什么区别?如何成为一名网络安全工程师?

    经常有小伙伴把 黑客 和 网络安全工程师 弄混, 黑客 和 网络安全工程师 是两种不同的职业,尽管它们都与计算机安全有关。本篇文章将告诉你 黑客 和 网络安全工程师 的区别并且教你如何成为一名 网络安全工程师 。 黑客 通常是指那些 能够入侵计算机系统或网络的人 。

    2024年02月08日
    浏览(56)
  • 转行IT:网络工程师VS网络安全工程师,哪个能带你走上人生巅峰?

    记得曾经有人说过这样一个俗语:三百六十行,行行转IT。 或许听到这个话的时候会觉得是一句玩笑话,但是浏览到网络上一些关于就业的文章,就能够明白这句话的真正意义所在。随着互联网的发展,越来越多人选择,甚至转行到IT行业,今天就带大家了解,网络工程师和

    2024年02月16日
    浏览(45)
  • 想转行DevOps工程师?快来看看DevOps工程师的学习路径,少走弯路

    :::tips DevOps方法论的主要来源是Agile, Lean 和TOC, 独创的方法论是持续交付。 ::: DevOps 是一种软件开发方法,涉及持续开发,持续测试,持续集成,部署和监视。这一系列过程跨越了传统上孤立的开发和运营团队,DevOps 试图消除它们之间的障碍。 因此,DevOps 工程师基本上与 D

    2024年02月08日
    浏览(46)
  • 软件测试工程师

    一、什么是软件测试? 1、定义:使用技术手段验证软件是否满足使用需求 2、目的:减少软件缺陷,保障软件质量。 二、主流技术: 1、功能测试:验证程序的功能是否满足需求 2、自动化测试:使用代码或工具代替手工,对项目进行测试 3、接口测试:有硬件接口、软件接

    2023年04月10日
    浏览(85)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包