【云计算与大数据技术】大数据概念和发展背景讲解(图文解释 超详细)

这篇具有很好参考价值的文章主要介绍了【云计算与大数据技术】大数据概念和发展背景讲解(图文解释 超详细)。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

一、什么是大数据

大数据是一个不断发展的概念,可以指任何体量或负载下那个超出常规数据处理方法和处理能力的数据,数据本身可以是结构化,半结构化甚至是非结构化的,随着物联网技术与可穿戴设备的飞速发展,数据规模变得越来越大,内容越来越复杂,更新速度越来越快,大数据和应用已成为产业升级与新产业崛起的重要推动力量

从狭义上来讲:大数据主要是指处理海量数据的关键技术以及在各个领域中的应用,是指从各种组织形式和类型的数据中发掘有价值的信息的能力,另一方面,狭义的大数据反映的是数据规模之大,以至于无法在一定时间内用常规数据处理软件和方法对其内容有效的抓取,管理和处理,狭义的大数据主要是指海量数据的获取,存储,管理,计算分析,挖掘与应用的全新技术体系

广义上讲,大数据包括大数据技术、大数据工程、大数据科学和大数据应用等与大数据相关的领域  

【云计算与大数据技术】大数据概念和发展背景讲解(图文解释 超详细) 

【云计算与大数据技术】大数据概念和发展背景讲解(图文解释 超详细) 

【云计算与大数据技术】大数据概念和发展背景讲解(图文解释 超详细) 

【云计算与大数据技术】大数据概念和发展背景讲解(图文解释 超详细) 

 

二、大数据的特点

学术界已经总结了大数据的许多特点,包括体量巨大,速度极快,模态多样,潜在价值大等。IBM公司使用3V来描述大数据的特点

 Volume(体 量 )。 通过各种设备产生的海量数据体量巨大 ,远大于目前互联网上的信息流量

 Variety(多 样 )。 大数据类型繁多,在编码方式 、数据格式 、应用特 征等多个方面存在差异

Velocity(速 率 )。 数据以非常高的速率到达系统内部,这就要求处理数据段 的速度必须非常快  

【云计算与大数据技术】大数据概念和发展背景讲解(图文解释 超详细) 

三、大数据发展 

大数据技术是一种新一代技术和构架,它成本较低,以快速的采集、处理和分析技术 从各种超大规模的数据中提取价值 

大数据采集与预处理方向 - 目前很多公司已经推出了多种数据清洗和质量控制工具(如IBM 公司的 DataStage)

大数据存储与管理方向 - 这个方向最常见的挑战是存储规模大,存储管理复杂, 需要兼顾结构化、非结构化和半结构化的数据 

大数据计算模式方向 - 目前出现了多种典型的 计算模式,包括大数据查询分析计算(如 Hive)、批处理计算(如 Hadoop MapReduce) 等

 大数据分析与挖掘方向 - 在数据量迅速增加的同时,还要进行深度的数据分析和挖掘,并且对自动化分析要求越来越高 

大数据可视化分析方向 - 通过可视化方式来帮助人们探索和解释复杂的数据, 有利于决策者挖掘数据的商业价值,进而有助于大数据的发展

大数据安全方向 - 文件访问控制权限 ACL、基础设备加密、匿名化保护技术和加密保 护等技术正在最大程度地保护数据安全

四、大数据的应用

梅西百货的实时定价机制 - 根据需求和库存的情况,该公司基于 SAS的系统对多达7300万种货品进行实时调价

Tipp24AG 针对欧洲博彩业构建的下注和预测平台 - 该公司用KXEN软件来分析数十亿计的交易以及客户的特性,然后通过预测模型对特定用户进行动态的营销活动

沃尔玛的搜索 - 这家零售业寡头为其网站 Walmart.com 自行设计了最新的搜索引擎 Polaris,利用语义数据进行文本分析、机器学习和同义词挖掘等

TescoPLC(特易购)和运营效率 - 这家连锁超市在其数据仓库中收集了700万部冰箱的数据。通过对这些数据的分析进行更全面的监控,并进行主动的维修以降低整体能耗

创作不易 觉得有帮助请点赞关注收藏~~~文章来源地址https://www.toymoban.com/news/detail-435573.html

到了这里,关于【云计算与大数据技术】大数据概念和发展背景讲解(图文解释 超详细)的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 【云计算与大数据技术】数据编码LZSS算法、Snappy压缩库及分布式通信系统的讲解(图文解释 超详细)

    数据编码概述 - 在分布式系统中需要处理大量的网络数据,为了加快网络数据的传输速度,通常需 要对传输数据进行编码压缩 数据压缩是以尽可能少的数码来表示信源所发出的信号,减少容纳给定的消息集合或数据采样集合的信号空间,这里讲的信号空间就是被压缩的对象,是

    2024年02月16日
    浏览(87)
  • 【云计算与大数据技术】资源管理、调度模型策略的讲解

    集群资源管理模型通常由两个部分组成,即资源表示模型和资源分配模型,由于这两个部分是耦合的,所有优化集群资源管理时需要同时结合这两个部分考虑,资源表示模型用于描述集群资源的组织方式,是集群资源统一管理的基础,从狭义上来讲,计算资源是指具有计算能

    2024年02月21日
    浏览(33)
  • 【云计算与大数据技术】分布式计算、虚拟化技术、并行编程技术等技术讲解(超详细必看)

    分布式计算是一种计算方法,和集中式计算相对,随着计算的发展,一些应用需要巨大的计算能力才能完成,如果采用集中式计算则需要耗费很长的时间,而分布式计算将应用分解成许多更小的部分,分配到多台计算机进行处理,这样可以节省整体计算时间,大大提高计算效

    2023年04月15日
    浏览(48)
  • 【云计算与大数据技术】云交付模型、云部署模型、云计算优势与挑战、应用的讲解(超详细必看)

    云计算主要分为三种交付模型,而且这三种交付模型主要是从用户体验的角度出发的,分别是软件即服务(SaaS),平台即服务(PaaS),基础设施即服务(IaaS),对于普通用户而言,他们主要面对的是SaaS这种服务模式,而且几乎所有的云计算服务最终的呈现形式都是SaaS。  

    2023年04月09日
    浏览(21)
  • 云计算与大数据平台的人才培养与发展

    随着互联网和数字技术的发展,数据量不断增长,人们对于数据的处理和分析也越来越需要。云计算和大数据平台为这些需求提供了有力支持。云计算是指通过网络访问的计算资源,而大数据平台则是处理和分析大量数据的系统。这两者结合,为人们提供了更高效、更便捷的

    2024年04月09日
    浏览(30)
  • 云计算与大数据处理技术_云计算与大数据处理

    AIoT技术分析:云计算一般的计算机技术很难支撑企业的运作,于是云计算顺应时代而生,广泛地应用到了企业中。 云计算的概念 云计算是一种新兴的商业计算模型。... 并支持大规模数据处理、高容错性和自我管理等特性,提供PB级的存储能力,使用结构化的文件来存储数据,并整个

    2024年02月01日
    浏览(26)
  • 云计算与大数据技术 李春燕

    第一章  云计算概述 云计算:指按需使用IT资源和应用程序,通过互联网按使用量付费。 四种云 公有云:提供公共的IT资源             缺点:保密性较低 私有云:提供给政府.学校等地             优点:保密性高 社区云:研究人员使用 混合云:包含以上任意两种 云计

    2023年04月24日
    浏览(28)
  • 云计算与大数据第6章 云计算节能技术题库及答案

    1、云数据中心的能耗组成包含(  D  )。 ① 服务器集群的能耗   ②网络 设施的能耗   ③ 存储设备的能耗  ④供电设备的能耗 A. ①②③             B. ①②④       C. ②③④              D. ①②③④ 2、云数据中心的主要评价指标点不包括(  C  )。 A. 可靠

    2024年02月02日
    浏览(33)
  • 数字孪生的技术实现:云计算与大数据分析

    数字孪生(Digital Twin)是一种数字化的模拟体,通过实时的数据传输和实时的模拟计算,实现物理世界的设备、系统或过程与其数字模拟体之间的实时同步。数字孪生可以用于设备的故障预警、设备的远程控制、设备的性能优化、设备的生命周期管理等多种应用场景。数字孪生

    2024年04月15日
    浏览(23)
  • 基于Hadoop的云计算与大数据处理技术

    一、实验目的 1.了解Scala语言的基本语法 2.了解Spark Scala开发的原理 3.了解Spark Java API的使用 4.了解Spark的Scala API及Java API对数据处理的不同点 二、实验内容  某电商网站记录了大量用户对商品的收藏数据,并将数据存储在名为buyer_favorite1的文件中,数据格式以及数据内容如下

    2024年02月04日
    浏览(27)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包