大数据时代
三次信息化浪潮
信息化浪潮 | 时间 | 标志 | 解决的问题 |
---|---|---|---|
第一次信息化浪潮 | 1980 | 个人计算机 | 信息处理 |
第二次信息化浪潮 | 1995 | 互联网 | 信息传输 |
第三次信息化浪潮 | 2010 | 大数据、云计算、互联网 | 信息爆炸 |
大数据的技术支撑
1. 存储设备容量不断增加
2. CPU处理能力大幅提升
3. 网络带宽不断增加
数据产生方式
1. 运营式系统阶段
2. 用户原创内容阶段
3. 感知式系统阶段
大数据概念
数据量大
- “大数据摩尔定律”:人类产生的数据以每年50%的速度增长。
数据类型多
- 结构化数据占10%,非结构化数据占90%
处理速度快
- 秒级响应
价值密度低
- 价值密度远远低于传统关系型数据库
大数据的影响
四种科学研究范式
1. 实验科学
2. 理论科学
3. 计算科学:现提出理论,再收集数据,通过计算机验证
4. 数据密集型科学 :现有大量数据,通过计算得出未知理论
大数据关键技术
1. 数据采集与预处理
2. 数据存储与管理
3. 数据处理与分析
4. 数据安全和隐私保护
大数据计算模式
计算模式 | 解决问题 |
---|---|
批处理计算 | 针对大规模数据的批量处理 |
流计算 | 针对大数据的实时计算 |
图计算 | 针对大规模图结构数据(或网络的形式)的处理 |
查询分析计算 | 大规模数据的存储管理和查询分析(实时、准实时响应) |
大数据产业
1. IT基础设施层
2. 数据源层
3. 数据管理层
4. 数据分析层
5. 数据平台层
6. 数据应用层
大数据与云计算、物联网
三者相辅相成,既有联系又有区别
云计算
通过网络提供可伸缩的、廉价的分布式计算能力,以虚拟化技术为核心、以低成本为目的、动态可拓展的网络应用基础设施。
三种服务模式
* 基础设施即服务(IaaS)
* 平台即服务(PaaS)
* 软件即服务(SaaS)
关键技术
* 虚拟化
* 分布式存储
* 分布式计算
* 多租户
云计算数据中心
云计算应用
云计算产业……
物联网
四层
1. 感知层
2. 网络层
3. 处理层
4. 应用层文章来源:https://www.toymoban.com/news/detail-792916.html
关键技术
1. 识别感知技术(二维码、RFID标签、传感器)
2. 网络与通信技术(NFC、蓝牙、RFID、互联网、移动网络、卫星通信网络)
3. 数据挖掘与融合技术文章来源地址https://www.toymoban.com/news/detail-792916.html
大数据、云计算、物联网关系
1.物联网是大数据的重要来源,为云计算技术提供应用空间
2.大数据技术为物联网数据分析提供支撑,大数据为云计算机提供用武之地
3.云计算为大数据提供了技术基础,为物联网提供了海量数据存储能力
到了这里,关于大数据技术原理与应用——第一章的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!