数据治理(二)-基线治理

这篇具有很好参考价值的文章主要介绍了数据治理(二)-基线治理。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

本文只是大概讲,基线任务治理方法,分为从基线owner和节点owner角度讲述分为两个部分:

1.基线治理(从基线Owner角度)

  Owner离职/转岗。
  基线配置不合理。
  高频预警/破线治理。
  应急不及时治理。


2.基线任务治理(从节点Onwer)

2.1模型治理

2.1.1 ods类
  超大DataX治理
  多源sls日志
  超大merge任务治理
2.1.2 dwd类
  高频超大明细表治理
  自依赖大表治理
  超大全量表治理
2.1.3 adm类
  被高频访问的adm视图治理
  不合理大字段治理
  性能差的自定义函数治理

2.2低优高耗任务治理

2.3暴力扫描治理

2.4不合理opds参数治理

  Map/Join/Reduce参数不合理
  ServiceMode参数不合理
  Mapjoin/Auto Mapjoin参数不合理
  logview异常耗时处理
  小fuxi instance治理
  数据倾斜
  小文件过多治理

2.5研发工具治理

  D2/DG调度槽位治理
  D2/DG互通链路治理
  D2/DG的DQC治理文章来源地址https://www.toymoban.com/news/detail-847333.html

到了这里,关于数据治理(二)-基线治理的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 数据库、数据中台、数据仓库、数据湖区别

            数据时代,各行业的企业都已经开始通过数据库来沉淀数据,但是真的论起数据库、数据仓库、数据中台,还是新出现的数据湖,它们的概念和区别,可能知道的人就比较少了,今天我们详细来比较了解一下。         事实上,很多人在看到数据仓库的第一眼

    2024年02月08日
    浏览(44)
  • 数据库和数据仓库的区别

    1.项目课程和技术课程的区别 ​ 项目课程:实现特殊的项目功能。 ​ 技术深度不够。 ​ 技术广度可以。 技术课程:trim()不会去掉全角空格。 ​ 技术深度够。 ​ 技术广度不够。 2.采集项目和数仓项目关系 ​ 采集项目和数仓项目就是企业中数据管理两个功能模块。 ​ 采

    2024年03月13日
    浏览(43)
  • 数据仓库扫盲系列(1):数据仓库诞生原因、基本特点、和数据库的区别

    随着互联网的普及,信息技术已经深入到各行各业,并逐步融入到企业的日常运营中。然而,当前企业在信息化建设过程中遇到了一些困境与挑战。 1、历史数据积存。 过去企业的业务系统往往是在较长时间内建设的,很少进行大面积的改造或者升级,历史数据留存在业务系

    2024年02月08日
    浏览(46)
  • 数据库与数据仓库的区别及关系

    数据库是结构化信息或数据的有序集合,一般以电子形式存储在计算机系统中。通常由数据库管理系统 (DBMS) 来控制。它是一个长期存储在计算机内的、有组织的、可共享的、统一管理的大量数据的集合。数据库中的数据按一定的数学模型组织、描述和存储,具有较小的冗余

    2024年02月14日
    浏览(44)
  • Elasticsearch的数据库与数据仓库整合

    Elasticsearch是一个开源的搜索和分析引擎,基于Lucene库,具有实时搜索、文本分析、数据聚合等功能。在大数据时代,Elasticsearch在数据库和数据仓库领域得到了广泛的应用。本文将从以下几个方面进行讨论: 背景介绍 核心概念与联系 核心算法原理和具体操作步骤以及数学模

    2024年02月21日
    浏览(44)
  • 一文了解数据库,数据仓库,数据湖,数据集市,数据湖仓

    目录 一、定义 1. 数据库(Database) 2. 数据仓库(Data Warehouse) 3. 数据湖(Data Lake) 4. 数据集市(Data Mart) 5. 数据湖仓(Data Lakehouse) 二、相同、异同 2.1 相同点 2.2 不同点 三、常见的工具 数据库: 数据仓库: 数据湖: 数据集市: 数据湖仓: 当然,以下是关于数据库、数

    2024年01月17日
    浏览(54)
  • 数据仓库与数据库之间的区别与联系

    一、数据库与数据仓库的区别 1.1、区别 1.2、ACID内容 二、原子性(Atomicity) 三、持久性(Durability) 四、隔离性(Isolation) 1、锁机制 2、脏读、不可重复读和幻读 2、事务隔离级别 五、一致性(Consistency) 总结 数据库:主要用于事务处理,即OLTP(On-Line Transaction Processing)

    2024年02月05日
    浏览(42)
  • 8月《中国数据库行业分析报告》已发布,聚焦数据仓库、首发【全球数据仓库产业图谱】

    为了帮助大家及时了解中国数据库行业发展现状、梳理当前数据库市场环境和产品生态等情况,从2022年4月起,墨天轮社区行业分析研究团队出品将持续每月为大家推出最新《中国数据库行业分析报告》, 持续传播数据技术知识、努力促进技术创新与行业生态发展 ,目前已更

    2024年02月10日
    浏览(63)
  • 一文了解数据库vs数据仓库vs数据湖

    大家好,我是KD,一名10年以上大数据架构研发经验从业者,目前主要从事云原生大数据方向设计,擅长云原生技术、数据架构、数据平台构建、大数据组件性能调优 以下是本文目录: 什么是数据库? 为什么会有数据仓库? 拆解几个OLAP核心概念 大数据技术架构演进过程 什

    2024年01月23日
    浏览(61)
  • 4 万字全面掌握数据库、数据仓库、数据集市、数据湖、数据中台

    如今,随着诸如互联网以及物联网等技术的不断发展,越来越多的数据被生产出来-据统计,每天大约有超过2.5亿亿字节的各种各样数据产生。这些数据需要被存储起来并且能够被方便的分析和利用。 随着大数据技术的不断更新和迭代,数据管理工具得到了飞速的发展,相关

    2024年04月11日
    浏览(56)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包