大数据时代下:标签体系的应用

这篇具有很好参考价值的文章主要介绍了大数据时代下:标签体系的应用。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

大数据时代下:标签体系的应用

【1】必要性

项目普遍都用到大数据分析平台和用户标签/用户画像,从数据查询的角度来讲从传统的关联关键字段查询到元数据自定义查询,在到标签化查询,是逐步深化的,标签是对数据提前进行最细颗粒度的划分,在复杂的多表关联和联查时的逻辑处理不会影响业务数据的逻辑判断,消除复杂的逻辑处理带来的性能影响。

【2】典型的2种标签管理方式

原始标签:针对数据库,通过数据库中的表进行   (业务小)

产品化后的标签:面向终端:业务影响小,响应快,界面体验好。(业务大)

【3】标签分类方式

  1. 按照来源
  2. 按业务场景(按业务场景和复杂度分层级)
  3. 按数据类型(数值型/单值类型/多值类型/文本类型)

数据标签的分类:

(1)属性标签

(2)统计标签

(3)算法标签

华为数据标签的分类:

  1. 事实标签
  2. 规则标签
  3. 模型标签

大数据标签体系,DAMA,大数据

 文章来源地址https://www.toymoban.com/news/detail-530527.html

【4】标签的内容信息

主要包括:

【标签基本信息】、

【标签的数据表信息】、

【标签加工信息】、

【标签的质量信息】、

【标签的应用信息】

【5】标签建设的整体架构

标签建设项目包括标签加工、标签装载、标签管理、标签服务四个环节

大数据标签体系,DAMA,大数据

标签加工:很多客户问我标签加工是放在大数据平台,还是传统数据平台中?其实放在哪里都可以,如果你的基础数据已经落地在HDFS了,那建议你在大数据平台中做,毕竟分布式架构的加工跑批速度会有优势,另外对于算法挖掘和文本挖掘类的标签传统数据仓库技术也无法支撑。

 

标签装载:标签装载层是标签对外提供服务的物理存储层,这里面数据库选型尤为重要,后面有专门的章节分析。数据建模方面,宽表是标签数据模型的金标准。有很多客户问我,宽表中的字段数有没有限制?一张宽表字段数如果太多可不可以按主题拆表做join?标签所有场景的性能响应要求都是秒级的,任何数据库表关联都会大大降低查询效率,所以数据库选型要充分考虑这些因素。

 

标签管理:标签管理是指平台应用的管理端,管理端是面向内部用户使用的,服务端是面向客户服务的。管理端包括数据代理、标签库管理、标签元数据管理、标签审批、标签上下架、标签应用效果评估、衍生标签配置、客群提取、客群洞察等标签全生命周期管理功能。

 

标签服务:标签服务是指平台应用的服务端,管理端和服务端要做微服务切割,目的是解耦并建议分开部署,隔离不同渠道调用所占用的资源,例如内部筛选客群负载过大时,不能影响手机银行标签API调用服务,服务之间要做隔离。服务端设计要在网关层面充分考虑负载并发的压力,做分布式部署,保证并发性能的瓶颈不出现java进程这一端。

【6】标签的分类/设计及实现方法

在“数据中台”的规划系统中,数据标签介于数据仓库和数据集市之间。为数据集市做准备。

大数据标签体系,DAMA,大数据

【7】数据标签的设计

 设计步骤:

1.确定标签对象

2.打通对象关系

3.标签类目设计

4.数据标签实现(标签融合表)

标签融合表的二种形式(纵向融合表/横向融合表)

大数据标签体系,DAMA,大数据

 

到了这里,关于大数据时代下:标签体系的应用的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 数据指标体系峰会——构建与应用

    流量指标体系 如何构建和应用指标体系 落地关键保障与举措 数据标准化,一致化比较困难。 实践Case 指标分析方法 策略假设方法论 《测出转化率》 lift模型 紧急度: 外部驱动:限量,限购 内部驱动: 实践case

    2024年02月10日
    浏览(32)
  • 银行数据仓库体系实践(18)--数据应用之信用风险建模

            银行的经营风险的机构,那在第15节也提到了巴塞尔新资本协议对于银行风险的计量和监管要求,其中信用风险是银行经营的主要风险之一,它的管理好坏直接影响到银行的经营利润和稳定经营。信用风险是指交易对手未能履行约定契约中的义务而给银行造成经济损

    2024年03月21日
    浏览(39)
  • 用户标签体系建设

    通过给每个用户打标,方便后续通过用户标签来快速筛选用户,给不同的用户满足不一样的需求。 标签体系也能给不同的用户标签群体,推送不同的内容,从而达到精准营销的目的。 标签体系架构可以分为三个部分:数据加工层,数据服务层,数据应用层。每个层面面向用

    2024年02月12日
    浏览(30)
  • “伙伴+华为”体系,数字时代的新航标

    如果从1994年中国实行税制改革,要求以“以计算机网络为依托”开展企业税务工作算起,转瞬间,中国企业的信息化、数字化建设已经走过了近三十年历程。 这期间,信息化、数字化成为了企业走向管理现代化、全球化的依托,成为了中国经济持续腾飞,创造数字经济奇迹

    2024年02月05日
    浏览(27)
  • 大数据应用发展史:从搜索引擎时代到机器学习时代

    大数据技术的使用经历了一个发展过程 从最开始的Google在搜索引擎中开始使用大数据技术,到现在无处不在的各种人工智能应用,伴随着大数据技术的发展,大数据应用也从曲高和寡走到了今天的遍地开花。 Google从最开始发表大数据划时代论文的时候,也许自己也没有想到

    2024年02月03日
    浏览(35)
  • ChatGPT时代对大数据应用的展望

    目录 一、ChatGPT提供的技术能力分析 1.1ChatGpt是什么? 1.2 实现ChatGpt需要什么? 二、大模型在大数据领域应用分析 2.1 大数据领域应用需求分析 2.2 大数据每个阶段需求人工智能应用的可能 2.2.1 ChatGPT在搭建大数据基础生态的可能性分析 2.2.2 ChatGPT在数据处理周期的可能性分析

    2024年01月22日
    浏览(29)
  • 爬虫在大数据时代的应用

    在数字化时代,网络上充满了各种各样的资源和信息,如何高效地获取和利用这些信息,成为了很多人和企业所关注的问题。而爬虫技术,作为一种自动化的网络数据获取技术,正得到越来越多人的关注和使用。 一、什么是爬虫技术? 爬虫技术,即网络爬虫技术,是指通过

    2024年02月01日
    浏览(30)
  • 云原生时代,如何构建自己的开源组件安全治理体系?

    「云原生安全既是一种全新安全理念,也是实现云战略的前提。 基于蚂蚁集团内部多年实践,云原生PaaS平台SOFAStack发布完整的软件供应链安全产品及解决方案,包括静态代码扫描Pinpoint,软件成分分析SCA,交互式安全测试IAST,运行时防护RASP,安全洞察Appinsight等,帮助企业客

    2024年02月02日
    浏览(44)
  • 从架构角度看网络安全:数字化时代企业如何构建防御体系?

    导语 | 数字化时代,网络安全已经成为企业发展的重中之重,通过体系化的安全建设,企业可以从容应对愈加复杂的网络安全挑战。今天,我们特邀了腾讯云 TVP、赛博英杰科技董事长 谭晓生老师,他将从资深技术专家视角解读如何以架构思维来规划企业网络安全建设,为当

    2024年02月11日
    浏览(116)
  • 2023大中型企业数字化运营:互联网时代数据中台价值与应用-亿发

    在数字化时代背景下,大中型企业通过构建数据中台以提升业务价值的趋势日益明显。作为企业的战略制定者和高层领导,不仅需要认识到数据的价值,还要深入了解实现数据价值化业务的核心技术,即数据中台。 市场环境的变化带来了数字化转型路径的变革,执行方法论同

    2024年02月08日
    浏览(45)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包