云计算与大数据技术李春燕-Toy模板网

这篇具有很好参考价值的文章主要介绍了云计算与大数据技术李春燕。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

第一章云计算概述

云计算：指按需使用IT资源和应用程序，通过互联网按使用量付费。

四种云

公有云：提供公共的IT资源

缺点：保密性较低

私有云：提供给政府.学校等地

优点：保密性高

社区云：研究人员使用

混合云：包含以上任意两种

云计算的基本特征

资源无限量供应

提供自助式服务

远程提供服务

资源可控

按使用量付费

云计算的发展背景

（1）20世纪60年代,计算机革命

（2）20世纪90年代,互联网革命

（3）2010年，移动互联网革命

典型的云计算基础架构

GFS分布式文件系统

针对Google应用程序的特点提出的MapReduce编程模型

大规模分布式数据库BigTable

云计算模下的IT建设

特点：①开放硬件平台，软件与硬件解耦

②分布式设计、软件定义存储

③IT建设的传统IOE架构，转向互联网架构

④集中资源地的共享、虚拟化、分时共享

⑤动态调配,弹性伸缩，低成本，标准化硬件

⑥芯片新介质取得突破（云计算IT的基础）

优点：省时，省力，省钱，省电，省人，省地

云计算的特点

虚拟化技术

动态可扩展性

按需部署

灵活性高

可靠性高

性价比高

地理分布

先进安全技术

云计算的主要服务模式

IaaS(基础设施即服务)

关键技术：虚拟化技术

PaaS(平台即服务)

特点：①简化开发人员

②提供PC端或软件端的开发套件

③丰富的开发环境

④完全可托管的数据库服务

⑤可配置式的应用程序的构建

⑥支持多语言的开发

⑦面向市场

关键技术：①分布式并计算

②分布式存储

SaaS(软件即服务)

关键技术：多租户技术

三种服务的区别

IaaS:最底层

提供基础设施服务

PaaS:提供软件

部署平台

SaaS:拿来即用

第二章大数据技术概述

大数据的定义

在一定时间范围内用常规软件工具进行捕捉，管理和处理数据集合

经典案例

1.啤酒与尿布

2.谷歌与流感

大数据的范围:采集、存储、搜索共享、传输，分析和可视化

内存:运行速度

存储:储存容量

海量数据产生:

（1）来自大人群互联网

（2）来自大量传感器机械

（3）科学研究及行业多结构专业数据

1887-1890年:电功器

1944年:预见大数据

1997年:用大数据描述超级计算机产生的大量信息

2003-2006年:谷歌提出大数据可重用方案

2008年:提出大数据既念

2009年:大数据逐渐走进互联网

2012年:大数据成为一种新的资产类别

2013年：大数据元年

1ZB=10亿TB

各数据量单位:KB>MB>GB>TB>PB>EB>ZB>YB>NB>DB

单位以PB衡量的数据可称为大数据

1位(二进制0或1)

1字节(8位):1个英文字母或二进制8位数文字

1文字=2字节=16位

第四范式

实验→理论→计算→数据

大数据的特征

大量化:①存储量大②增量大

多样化：①来源多:搜索引擎、社交网络②格式多:结构化数据、非结构化数据

快速化

有价值

企业推动大数据

腾讯、华为、谷歌、ETC、数据库、阿里

大数据的关键技术

1.大数据预处理技术

①数据采集

②数据存取

③基础架构支持

④计算结果展现

2.大数据存储技术

①存储设备能持久可靠的存储数据

②提供可伸缩接口

③提供高效查询、更新等操作

大数据分析技术

①数据处理

②统计和分析

③数据挖掘

④模型预测

大数据计算技术

大数据的典型计算架构

Hadoop:处理本地数据

Spark:收集并更新

Storm:延迟毫秒级

第三章虚拟化技术

虚拟化技术

什么是虚拟化？

作为一种计算机资源管理技术，将各种的IT实体资源抽象转化为另一种形式的技术

云计算与虚拟化有什么关系？

云计算1.0→以虚拟化为核心

云计算2.0→以资源为核心

云计算3.0→以应用为核心

云计算：一种服务

虚拟化：一种技术基础

物理机①操作系统（Host Os）

②硬件（Host Machine）

虚拟机①操作系统(Guest Os)

②虚拟机(Guest Machine)

③VMM(虚拟监控器)

④硬件(Host Machine)

虚拟化的特点

分区：可分为多个虚拟机

隔离:虚拟机与虚拟机之间相互独立

封装:独立的文件夹形式

相对于硬件独立:屏蔽底层硬件不兼容问题

虚拟化类型

（1）寄居虚拟化:在主操作系统上安装和运行一个程序

特点:①简单易于实现

②安装和运行应用程序时，依赖于主操作系统对设备的支持

③有两层OS,管理开销大，性能损耗大

④虚拟机对各种物理主机的调用，都是通过虚拟化层和宿主OS一起调用完成

（2）裸金属虚拟化:在硬件上不属虚拟化层

特点:①不依赖于操作系统

②支持多种操作系统

③依赖虚拟层内核和服务控制台进行管理

④需要对虚拟层进行内核开发

（3）混合虚拟化：插入内核模块

特点:①相对于寄居虚拟化性能高

②相对于裸金属虚拟化不需要内核开发

③支持多种操作系统

④需要底层硬件支持虚拟扩展功能

虚拟化层架构

全虚拟化(KVM)、半虚拟化(Xen)、硬件辅助虚拟化

全虚拟化:即所抽象的VM具有完全的物理特性，虚拟化层负责捕获CPU指令,为指令访问硬件充当媒介

特点:① Os无需修改

②速度和功能比较好，使用非常简单

③移植性好

半虚拟化:

特点:①架构更简单

②对Os进行修改，用户体验比较麻烦

③速度上占一定优势

硬件辅助虚拟化

虚拟化技术的优势和劣势

（1）优势：①减少物理资源的投入，节约成本

②虚拟数据资源迁移方便

③提高物理资源的使用率

④更加环保，节省能源

⑤易于自动化维护与操作，减少维护成本

⑥数据安全更有保障

劣势：①目前业界没有统一的虚拟化技术标准与平台.没有开放的协议

②如果没有对数据进行备份，应用虚拟化技术会存在一定的风险

③虚拟数据中心的迁移，特别是对在线服务的迁移，对用户影响巨大

全虚拟化与半虚拟化举例对比

KVM(性能) Xen(安全)

全虚拟化（1）半虚拟化

内置在内核中（2）需要修改内核

便于版本安装、升级、维护（3）更新版本，重新编辑整个内核

性能高（4）隔离好

第四章数据中心

数据中心的定义：是全球协作的特定设备网络，用来在internet网络基础设施上传递、加速、展示、计算、存储数据信息

构成：机房（建筑物本身）、供配电系统、制冷系统、网络设备、服务器设备、存储设备等

作用:随着数据中心行业在全球的蓬勃发展，随着社会经济的快速增长，数据中心的发展建设将处于高速时期，再加上各地政府部门给予新兴产业的大力扶持，都为数据中心行业的发展带来了很大的优势。随着数据中心行业的大力发展，将来在很多城市中都会有很大的发展空间，一些大型的数据中心也会越来越多。2017年全球经历了前所未有的自然灾害之后，很多数据中心管理人员都在积极制定灾难恢复计划。例如就可以通过云计算工具对电力使用的功率进行限制，在遭遇停电时间时将允许以降低的功率继续运行，可以为电力企业的正常运行提供有效的保障。还可以利用数据中心指定备份计划，对服务器的操作进行拓展，就不需要通过关闭和重启服务器操作。

数据中心是与人力资源、自然资源一样重要的战略资源，在信息时代下的数据中心行业中，只有对数据进行大规模和灵活性的运用，才能更好的去理解数据，运用数据，才能促使我国数据中心行业快速高效发展，体现出国家发展的大智慧。海量数据的产生，也促使信息数据的收集与处理发生了重要的转变，企业也从实体服务走向了数据服务。产业界需求与关注点也发生了转变，企业关注的重点转向了数据，计算机行业从追求的计算能力转变为数据处理能力，软件业也将从编程为主向数据为主转变，云计算的主导权也将从分析向服务转变。

在信息时代下，数据中心的产生，更多的网络内容也将不再由专业网站或者特定人群所产生，而是由全体网民共同参与。随着数据中心行业的兴起，网民参与互联网、贡献内容也更加便捷，呈现出多元化。巨量网络数据都能够存储在数据中心，数据价值也会越来越高，可靠性能也在进一步加强。

数据中心的发展历程

①巨型机时代

② PC时代

③云计算大数据时代

数据中心的组成

数据中心是全bai球协作的特定设备网络，用来在internet网络基础设施上传递、加速、展示、计算、存储数据信息。它不仅仅包括计算机系统和其它与之配套的设备（例如通信和存储系统），还包含冗余的数据通信连接、环境控制设备、监控设备以及各种安全装置。

IDC(Internet Data Center) - Internet数据中心，bai它是传统的数据中心与Internet的结合，它除了具有传统的数据中心所具有的特点外，如数据集中、主机运行可靠等，还应具有访问方式的变化、要做到7x24服务、反应速度快等。IDC是一个提供资源外包服务的基地，它应具有非常好的机房环境、安全保证、网络带宽、主机的数量和主机的性能、大的存储数据空间、软件环境以及优秀的服务性能。

IDC作为提供资源外包服务的基地，它可以为企业和各类网站提供专业化的服务器托管、空间租用、网络批发带宽甚至ASP、EC等业务。简单地理解，IDC是对入驻(Hosting)企业、商户或网站服务器群托管的场所；是各种模式电子商务赖以安全运作的基础设施，也是支持企业及其商业联盟(其分销商、供应商、客户等)实施价值链管理的平台。形象地说，IDC是个高品质机房，在其建设方面，对各个方面都有很高的要求

网络建设

IDC主要是靠其有一个高性能的网络为其客户提供服务，这个高性能的网络包括其- AN、WAN和与Internet接入等方面要求。

IDC的网络建设主要有： - IDC的- AN的建设，包括其- AN的基础结构，- AN的层次，- AN的性能。 - IDC的WAN的建设，即IDC的各分支机构之间相互连接的广域网的建设等。 - IDC的用户接入系统建设，即如何保证IDC的用户以安全、可靠的方式把数据传到IDC的数据中心，或对存放在IDC的用户自己的设备进行维护，这需要IDC为用户提供相应的接入方式，如拨号接入、专线接入及VPN等。 - IDC与Internet互联的建设。

数据中心的建设原则

①数据中心将建在哪里

②需要多少个机架？他们的尺寸是多少

③需要什么等级的数据中心

④每个机架平均功率密度是多少

⑤运维人员需参加规划设计工作

⑥避免受内外部因素影响，不能正确对待倾向，喜好，限制，约束的区别，不遵守科学设计原则

⑦交流机架或直流机架需要什么级别的备份电池

⑧避免轻规划设计，施工建设

⑨避免忽视对系统可维护和可修复设计

⑩避免可用性设计缺乏科学依据

⒒避免在脱离实际需要和可行性情况下，确定高指标

⒓避免重设备轻系统的认识误区.注重统筹设计

数据中心的基本单元--服务器

塔式服务器

塔式服务器的主板扩展性较强，插槽也很多，而且塔式服务器的机箱内部往往会预留很多空间，以便进行硬盘，电源等的冗余扩展。这种服务器无需额外设备，对放置空间没多少要求，并且具有良好的可扩展性，配置也能够很高，因而应用范围非常广泛，可以满足一般常见的服务器应用需求。

这种类型服务器尤其适合常见的入门级和工作组级服务器应用，而且成本比较低，性能能满足大部分中小企业用户的要求，市场需求空间还是很大的。

但这种类型服务器也有不少局限性，在需要采用多台服务器同时工作以满足较高的服务器应用需求时，由于其个体比较大，占用空间多，也不方便管理，便显得很不适合。

机架式服务器

机架式服务器也有多种规格，例如1U（4.445cm高）、2U、4U、6U、8U等。通常1U的机架式服务器最节省空间，但性能和可扩展性较差，适合一些业务相对固定的使用领域。4U以上的产品性能较高，可扩展性好，一般支持4个以上的高性能处理器和大量的标准热插拔部件。管理也十分方便，厂商通常提供人相应的管理和监控工具，适合大访问量的关键应用，但体积较大，空间利用率不高。

机架式服务器的优点，和其他两种样式服务器对比。机架式服务器相对于塔式服务器要节约空间，但是散热稍微差一点，因为空间紧凑。

按结点密度分类

网络节点服务器(NNS)是SNA网络节点(NN) ，一种服务器装置，节点服务器是针对服务器集群来说的。主要应用在WEB、FTP。VPN等等的服务上。所以节点服务器并不是单指某一种服务器。它由多个节点和管理装置整体的管理单元构成，其特征在于：各节点具备切换该节点的动作模式的模块管理部，该模块管理部根据从所述管理单元传递的构成信息，切换各节点单独动作或与其它节点协调动作.提供一种服务器装置，除以前的刀锋服务器系统的向外扩展型的扩展性外，还具备基于SMP结合多个节点间的向上扩展型的扩展性。各节点具备与其它节点SMP 结合用的单元，各节点的模块管理部根据系统构成信息，切换该节点作为刀锋服务器单独动作或作为SMP服务器的构成模块来动作。在背板上对各节点间链路进行等长布线，通过在各节点内也进行与背板上的各节点间链路等长的环路布线，取得节点间的同步。在背板上搭载向各节点分配基准时钟的基准时钟分配单元，利用各节点内部的时钟分配器来切换基准时钟，由此进行SMP结合的节点的基准时钟的同步。

CISC型CPU目前主要有intel的服务器CPU和AMD的服务器CPU两类。

intel的服务器CPU

(2)AMD的服务器CPU RISC是英文“Reduced Instruction Set Computing ” 的缩写，中文意思是“精简指令集”

在中高档服务器中采用RISC指令的CPU主要有以下几类：

PowerPC处理器

(2)SPARC处理器

(3)PA-RISC处理器

(4)MIPS处理器

(5)Alpha处理器 VLIW是英文“Very Long Instruction Word”的缩写，中文意思是“超长指令集架构”，VLIW架构采用了先进的EPIC（清晰并行指令）设计，我们也把这种构架叫做“IA-64架构”。EPIC处理器主要是Intel的IA-64(包括Intel研发的安腾处理器)和AMD的x86-64两种。

按功能分类

1.文件服务器

2.数据库服务器

3.邮件服务器

4.web服务器

5.DNS服务器

6.代理服务器

7.FTP服务器

8.应用服务器

数据中心选址

数据中心的能耗

从发电的角度说，2年前三峡的电已经不够数据中心用；从用电角度说，数据耗电超过了农业全行业。以能耗作为标准，未来的数据行业是当之无愧的”重“工业。