本文只是大概讲,基线任务治理方法,分为从基线owner和节点owner角度讲述分为两个部分:
1.基线治理(从基线Owner角度)
Owner离职/转岗。
基线配置不合理。
高频预警/破线治理。
应急不及时治理。
2.基线任务治理(从节点Onwer)
2.1模型治理
2.1.1 ods类
超大DataX治理
多源sls日志
超大merge任务治理
2.1.2 dwd类
高频超大明细表治理
自依赖大表治理
超大全量表治理
2.1.3 adm类
被高频访问的adm视图治理
不合理大字段治理
性能差的自定义函数治理
2.2低优高耗任务治理
2.3暴力扫描治理
2.4不合理opds参数治理
Map/Join/Reduce参数不合理
ServiceMode参数不合理
Mapjoin/Auto Mapjoin参数不合理
logview异常耗时处理
小fuxi instance治理
数据倾斜
小文件过多治理 文章来源:https://www.toymoban.com/news/detail-847333.html
2.5研发工具治理
D2/DG调度槽位治理
D2/DG互通链路治理
D2/DG的DQC治理文章来源地址https://www.toymoban.com/news/detail-847333.html
到了这里,关于数据治理(二)-基线治理的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!