Smart Community(1)之设计规范

这篇具有很好参考价值的文章主要介绍了Smart Community(1)之设计规范。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

通过前面大数据开发相关知识的学习,准备做一个项目进行练习---我给他起了一个响亮的名字:基于HadoopHA的智慧社区服务平台

Smart Community(1)之设计规范,Inteligent community programe,设计规范

设计规范:

做一个项目之前肯定要先规定一些开发过程中的设计规范

(一)数据埋点规范:

数据埋点:是一种在软件、应用程序或网站中插入代码的技术,用于收集和跟踪用户行为和事件的数据。通过在关键位置插入代码片段(埋点),可以记录用户在应用程序中的操作和交互,以及其他有关系统和用户行为的信息。

(1)确保灵活、高可扩展

(2)兼顾后续的处理、分析的方便性

(3)确保可跟踪、数据正确性

(4)业务数据打通

(5)考虑不同C端产品特性与用户体验

(6)确保性能、敏感数据安全性

(二)数仓层次设计规范:

 ODS层:是原始数据层,是最接近数据源的一层,将数据源中的数据经过ETL之后装入ODS层,ODS的数据结构一般与数据来源保持一致,便于减少ETL工作的复杂性。

DWD层:是明细数据层,进行维度建模,该层的表结构和粒度与原始表保持一致,不过对ODS层数据进行清洗、维度退化、脱敏等,最终得到的数据是干净的,完整的,一致的数据。一般采用星型模型,呈现的状态一般为星座模型。 维度建模一般分为四步: 选择业务过程(先选择容易实现的)、 声明粒度(以最低的原子粒度处理数据)、 确认维度(考虑其他维度是否可以被属性化)、 确认事实(确认将那些事实---(指的是度量值,一些具体数据)放入事实表中)。

DWS层:服务数据层,基于DWD层的明细数据,按天轻度汇总成某一个主题域的服务数据,一般是宽表。DWS层统计各个主题对象的当天行为,以及一些业务明细数据,服务于DM(数据集市)层的某个主题。

(三)表命名规范:

英文在不是原意的情况下采用缩写,避免数字开头

Smart Community(1)之设计规范,Inteligent community programe,设计规范能够合理的区分出表所描述的数据域、数据周期等。 命名规范设定:

层次_数据域_修饰/描述_范围/周期

订单相关数据表

dwd层: d_ord_info_d

dws层: s_ord_st_d

维度表(dimension

用户维度: dim_user_d

商品缓慢渐变维表: dim_product_l

ods层

对于ods层表,最好能够区分数据来源,包括在来自什么系统、源数据名称。

eg 从业务系统全量采集订单(loan_order)数据到ods层 业务系统编码: buss 业务系统订单表: loan_order ods层表命名: o_buss_loan_order_d

(四)脚本命名规范:

•ETL脚本名称尽可能和所产出的表同名 •数据采集、 数据推送脚本尽可能标识数据去向

•ETL脚本若产生多个表, 采用对应的数据域和语义描述命名

•Jar包命名以实际的业务处理逻辑语义描述为主,调度任务命名同样尽量以产出表名命名。

eg:

订单ETL过程 从表o_buss_loan_order_d整理数据并且装载到dwd层表d_ord_info_d中。

ETL脚本命名: d_ord_info_d.sh

ETL任务命名: d_ord_info_d 一个ETL脚本产出多个表,比如从商品表中分离出商品维度、厂家维度。

ETL脚本命名: dim_product_mfrs_d.sh

ETL任务名称: dim_product_mfrs_d 采集数据到ods层的表o_buss_loan_order_d imp_o_buss_loan_order_d.sh

数据表dm_ord_trsfm_d推送到BI系统 exp_bi_dm_ord_trsm_d.sh

(五)开发规范:

数仓中MR程序尽可能统一输入参数、输出参数,单个jar程序的功能模块清晰,避免多种处理逻辑写入一个jar包。

每个ETL脚本尽可能产出一张数仓表,方便任务排查,同时也减少数仓表的耦合性。

ETL脚本格式、备注清晰,避免大范围、格式杂乱的脚本,合理利用临时表。

字段列对齐 关键字列对齐

禁止使用Tab, 全部使用4个空格代替文章来源地址https://www.toymoban.com/news/detail-732577.html

到了这里,关于Smart Community(1)之设计规范的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 【PyCharm Community Edition】:excel操作

    可以对.xlsx,.xlsm,.xltx,.xltm文件格式操作 打开文件:wb_xlsx = openpyxl.load_workbook(“文件名”) 新建文件:wb_xlsx = openpyxl.Workbook() 新建sheet表:wb_xlsx_sheet = wb_xlsx.create_sheet(title=“表名”) 打开指定sheet表:wb_xlsx_sheet = wb_xlsx.get_sheet_by_name(“表名”) 获取表的最大行号:wb_xlsx_sheet._curr

    2024年02月07日
    浏览(44)
  • 无法安装Microsoft.VisualStudio.Community.Msi

    返回代码: 1603 返回代码详细信息: 安装时发生严重错误 消息详细信息: 指定的路径太长: C:Program Files (x86)Windows Kits8.1   前提是我vs2022转2019的时候在visual Studio install 里面报错无法安装Microsoft.VisualStudio.Community.Msi 解决方法: 找到此文件夹 C:Program Files (x86)Win

    2024年02月11日
    浏览(57)
  • Idea Community社区版如何添加Run Dashboard

    最近在学习spring cloud,跟着视频添加run dashboard,发现里面介绍的方法无法适用于idea community(社区版)。 然后自己研究了一下,成功添加,下面分享自己的方法。 如图,我的项目里添加了两个module,我想通过run dashboard同时启动这两个module 注:每个module都有@SpringBootApplication主方

    2024年01月24日
    浏览(39)
  • MySQL Community Server 8.0.33安装教程【笔记】

    仅安装MySQL Community Server 下载网址:https://dev.mysql.com/downloads/installer/ 1、下载对应版本; 2、下载后,双击安装,弹出界面选择【 Custom 】; 3、弹出界面选择【MySQL Server 8.0.33 - X64】; 3、弹出界面选择**【Execute】→【Next】**; 4、选择【Development Computer】→【Next】; 5、弹出界面默

    2024年02月05日
    浏览(85)
  • Visual Studio Community 2022(VS2022)安装图文方法

    直接上步骤: 1,首先可以下载安装一个Visual Studio安装器,叫做Visual Studio installer。这个安装文件很小,很快就安装完成了。 2,打开Visual Studio installer 小软件 3,按照开发需求选择安装的组件: 以下所有图片中的选项,如果不知道要怎么选就选择全部的,也就是把所有的选项

    2024年02月04日
    浏览(59)
  • IntelliJ IDEA Community(社区版)下载及安装自用版

    估计是个开发都逃脱不了用IDEA的命运吧,这么好的软件,白嫖了好多年。感恩。 现在很多公司已经不让用商业版的破解版了,所以这里讲的是社区版。 区别: 最后,社区版虽然差点意思,但是对于菜鸡来说,绝对够用,别想太多,毕竟骚活再多,不如编码基础能力重要。

    2024年02月03日
    浏览(43)
  • MySQL Community Server的安装配置教程(Windows版本)

    MySQL Community Server是开源的MySQL数据库服务的名称。它是MySQL AB在2000年推出的一个开源数据库服务器,现在由Oracle公司维护和管理。 MySQL Community Server是一个关系型数据库系统,支持多种类型的数据和多个并发用户。它提供了强大的SQL查询语言,以及用于数据管理和扩展的扩展

    2024年02月10日
    浏览(43)
  • PyCharm Community Edition 2023.2 最新版本汉化教程【保姆级】

    1.打开PyCharm,点击左上角的图标;  2.点击选择settings ; 3.选择Plugins  4.输入Chinese; 5. 如果你输入后,没有看到显示内容,说明网络连接有问题,需要进行以下操作—— 6.点开设置,选择http proxy settings; 7.选择auto-detect proxy settings,点击ok; 8.重新回到选择安装第二个 ; 9.安装

    2024年02月08日
    浏览(72)
  • 章鱼网络 Community Call #17|打造全新 Omnity 跨链协议

    香港时间2024年1月8日12点,章鱼网络举行第17期 Community Call。 对于 Octopus Community 而言,2023年是一个分水岭。我们如期兑现我们的承诺,成功上线了包括 $NEAR Restaking 和 Adaptive IBC 在内的完整的 Octopus 2.0。 自从我们在2023年4月公布这一计划以来,整个团队倾尽全力使这个蓝图变

    2024年01月20日
    浏览(80)
  • VS Community与VS Code的区别及使用场景对比

    在软件开发领域,Visual Studio(简称VS)是一款备受欢迎的集成开发环境(IDE),由微软公司开发和维护。在Visual Studio系列中,VS Community和VS Code是两个常见的版本,它们在功能和使用场景上有一些区别。本文将对这两个版本进行详细比较,并提供相应的源代码示例。 VS Commun

    2024年02月04日
    浏览(33)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包