云计算关键技术

这篇具有很好参考价值的文章主要介绍了云计算关键技术。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

        在云计算数据中心的构建过程中,离不开一些关键的技术,比如,虚拟化技术,分布式数据存储技术,云计算平台管理软件以及其它诸如HBase,Hadoop等相关技术。
云平台关键技术和指标,Tencent Cloud,云计算,大数据,数据库

目录

虚拟化技术 

计算虚拟化技术-KVM

分布式数据存储技术

分布式数据存储技术-HDFS

分布式数据存储-CFS

网络虚拟化技术-SDN

云计算管理平台-Openstack

云计算管理平台-VStation 

VStation与OpenStack对比

虚拟化技术 

 虚拟化分类
虚拟化技术根据虚拟对象可分成存储虚拟化、计算虚拟化、网络虚拟化等,计算虚拟化又分为系统级虚拟化、应用级虚拟化和桌面虚拟化目。在云计算实现中,计算系统虚拟化是一切建立在“云”上的服务与应用的基础。虚拟化技术目前主要应用在CPU、操作系统、服务器等多个方面,是提高服务效率的最佳解决方案。
 虚拟化优势
虚拟化是一项可将物理硬件与计算机操作系统分离的技术,能够帮助 IT 人员解决面临的诸多问题。
借助服务器虚拟化技术,我们可以获得更好的弹性与更低的成本,并可以更灵活地操作和部署应用及系统。

计算虚拟化技术-KVM

KVM虚拟化
     KVM是嵌入在Linux操作系统标准内核中的一个虚拟化模块,它能够将一个Linux标准内核转换成为一个VMM,嵌有KVM模块的Linux标准内核可以支持通过kvm tools来进行加载的GuestOS,KVM 用来模拟 CPU 的运行,但缺少了对 Network 和 I/O 的支持,而QEMU-KVM 是一个完整的模拟器,它基于 KVM 上,提供了完整的 Network 和 I/O 支持。
10 月 24 至 10 月 26 日,KVM Forum 2018 大会在英国召开。本次大会上,KVM 主要维护者 Paolo Bonzini ,介绍了 KVM 开源项目的当前进展,并统计了 2018 年全球企业对 KVM 的贡献。
其中,中国唯一入榜的腾讯云向 KVM 内核贡献了 40 个 patch,全球排名第七,其它上榜企业分别是 Linaro/ARM、IBM、Red Hat、Intel、Oracle、Google 与 AMD。
这是腾讯云第二次上榜,也标志着腾讯云连续两年成为国内贡献度最高的公有云厂商,值得注意的是,腾讯云的排名紧随 Google、名列 AMD 之前。

分布式数据存储技术

云平台关键技术和指标,Tencent Cloud,云计算,大数据,数据库文章来源地址https://www.toymoban.com/news/detail-787707.html

云计算的数据量往往是大于传统IT架构的,在存储层面上,传统的存储架构已经很难满足日益增长的数据存储需求。云计算架构中,通常采用分布式存储,实现更好的扩展性、更大的容量,以及更好的性能指标。
传统的数据存储
集中化存储数据
存储成为系统性能、可靠性的瓶颈
读写计算性能不足,扩展性差,冗余度低
数据规模大时无法满足需要
在数据量不大、数据扩展程度有限的场景下,传统存储设备凭借自身的冗余设计与高性能组件,基本可以满足业务需要。但并不适合云计算场景下的数据存储
分布式数据存储
运行在 多台 节点上,自动整合
整合集群内所有存储空间资源,虚拟化并对外提供文件访问服务  
更好的扩展性,更大的容量,更适合大规模数据的性能需求。因此经常出现在云计算架构中。

分布式数据存储技术-HDFS

HDFS分布式数据存储
HDFS是Hadoop的分布式文件系统
优势
保存多个副本,提供容错机制,副本丢失或宕机自动恢复,默认存3份。
可运行在廉价的机器上。
适合高吞吐率的场景,就是在某一时间内写入大量的数据。
劣势
低延时数据访问,比如毫秒级的数据存储,它是做不到的。
不适合小文件的存储 ,存放大量小文件的话,它会占用namenode的大量的内存在存储文件、
目录、块信息。而namenode的内存总是有限的。
一个文件只能一个线程写,不能多个线程同时写。
仅支持文件的追加(append),不支持文件的随机修改。

分布式数据存储-CFS

        CFS是腾讯自主研发的分布式数据存储系统
集成管理
        支持 NFS v3.0/v4.0 协议, 提供标准 POSIX 访问语义(例如强数据一致性和文件锁定),用户可以使用标准操作系统挂载命令来挂载文件系统。
自动拓展
        支持根据文件容量大小自动扩展文件系统存储容量,扩展过程不会中断请求和应用,确保独享所需的存储资源,同时减少管理的工作和麻烦。
安全可靠
        具有极高的可用性和持久性,每个存储在 CFS 实例中的文件都会在多个可用区中拥有 3 份冗余。
        CFS还可以通过 POSIX 权限严密控制对文件系统的访问,使用基础网络或 VPC网络搭配权限组来实现访问权限控制。
按需付费
        按实际用量付费且无最低消费或前期部署及后期运维费用,多个 CVM 可以通过 NFS 协议共享同一个存储空间,而无需重复购买其他的存储服务,也无需考虑缓存。
CFS优势点:
数据可靠性:提供8个9的数据可靠性,全年365天,数据宕机丢失可能的时间为0.3秒。
服务可用性:99.5% 服务等级协议的保障,无单点故障。
读写性能:水平扩展,与存储量线性相关。
扩容能力:弹性扩展,按需付费 。
集成化:支持标准的NFSv4 协议,实现无缝挂载 CVM。
成本低廉:按实际存储量付费,无最低消费和运维费用。
安全管理:支持 POSIX 权限、支持 在 VPC 或基础网络内挂载。

网络虚拟化技术-SDN

云平台关键技术和指标,Tencent Cloud,云计算,大数据,数据库
软件定义网络(Software Defined Network, SDN ) ,是Emulex网络一种新型网络创新架构,是网络虚拟化的一种实现方式,其核心技术OpenFlow通过将网络设备控制面与数据面分离开来,从而实现了网络流量的灵活控制,使网络作为管道变得更加智能。
传统IT架构中的网络,根据业务需求部署上线以后,如果业务需求发生变动,重新修改相应网络设备(路由器、交换机、防火墙)上的配置是一件非常繁琐的事情。在互联网/移动互联网瞬息万变的业务环境下,网络的高稳定与高性能还不足以满足业务需求,灵活性和敏捷性反而更为关键。 SDN所做的事是将网络设备上的控制权分离出来,由集中的控制器管理,无须依赖底层网络设备 (路由器、交换机、防火墙),屏蔽了来自底层网络设备的差异。而控制权是完全开放的,用户 可以自定义任何想实现的网络路由和传输规则策略,从而更加灵活和智能。
进行SDN改造后,无需对网络中每个节点的路由器反复进行配置,网络中的设备本身就是自动化连通的。只需要在使用时定义好简单的网络规则即可。如果你不喜欢路由器自身内置的协议,可以通过编程的方式对其进行修改,以实现更好的数据交换性能。
假如网络中有SIP、FTP、流媒体几种业务,网络的总带宽是一定的,那么如果某个时刻流媒体业务需要更多的带宽和流量,在传统网络中很难处理,在SDN改造后的网络中这很容易实现,SDN可以将流量整形、规整,临时让流媒体的“管道”更粗一些,让流媒体的带宽更大些,甚至关闭SIP和FTP的“管道”,待流媒体需求减少时再恢复原先的带宽占比。
正是因为这种业务逻辑的开放性,使得网络作为“管道”的发展空间变为无限可能。如果未来云
计算的业务应用模型可以简化为“ 云—管—端 ”,那么SDN就是 “管”这一环的重要技术支撑。

云计算管理平台-Openstack

在2010年以Apache许可证授权的自由软件和开放源代码项目,早期只有NASA贡献的Nova项目和Rackspace共享的Swift项目,到目前为止已经发展成为拥有上百个项目的综合项目计划,基础设施资源的管理平台。
Openstack平台定位是开源的用于企业部署私有云的云平台,openstack平台对外可以提供认证服务、网络服务、块存储服务、计算服务、镜像服务、对象存储服务、监控和计量服务、编排服务和面板服务等。
OpenStack的弱点:
可维护性差
配置项多
部署复杂
升级困难
容灾能力弱
        • 容灾并非第一设计目标
        • 需要借助于第三方工具实现高可用
追溯困难,无失败回滚
        • task flow支持不好
        • 模块之间的耦合仍然很高
        • 无法保证接口的事务性
性能较差
        • RPC临时创建MQ队列限制集群规模
        • DB表的设计难以支持大规模的数据

云计算管理平台-VStation 

云平台关键技术和指标,Tencent Cloud,云计算,大数据,数据库
VStation在2013年12月诞生,一个月后快速上线,后来快速生根发芽,现今大约14w行代码。
VStation架构原理:
dispatcher :一个对虚拟机任务互斥、任务入队的模块;
API :对外提供HTTP服务,负责对外接口以及任务步骤分解;整个框架通过MQ进行通信,其中API收到消息发送给MQ;
compute access :一个处于MQ和compute间的中转代理模块;
image access :一个处于MQ和image组件间的中转代理模块;
network :对虚拟机IP、MAC分配等网络管理模块;
Scheduler:在VStation平台中完成模块调度的功能;
resource :提供对虚拟机和母机的资源管理功能;
ERROR :主要负责处理任务异常模块,任务回滚等;
DEBUG :负责所有步骤,消息,参数等收集,可选择开启;
Dfw和volume:提供卷存储服务;

VStation与OpenStack对比

代码量:VStation大约数十万行,而OpenStack要数千万行;
支持集群规模:VStation支持数十万台服务器的集群规模,而OpenStack通常是数千台;
容灾:VStation支持任一模块跨机房部署容灾,而OpenStack往往需要其他开源组件支持;
运维:VStation支持消息可视化,可追溯消息扭转以及耗时等,而OpenStack需要自主开发;
人员投入:Vstation往往只需要数十人的人员投入,而OpenStack往往需要数百人;
性能:VStation可支持数万台虚拟机分钟级别的创建,而OpenStack一般支持不到100台的同
时创建。
云平台关键技术和指标,Tencent Cloud,云计算,大数据,数据库

到了这里,关于云计算关键技术的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 【主流电商平台API接口接入】大数据的关键技术之—大数据采集

    Data acquisition 2023 电商大数据采集步骤方法 1 数据需求分析: 在开始采集之前,需要明确需要采集的数据类型、目的和用途。例如,想要了解用户行为数据、市场趋势数据等。 2 数据源选择: 根据需求确定数据的来源,这可能包括互联网上的网站、社交媒体平台、传感器、日

    2024年02月19日
    浏览(30)
  • 基础数据与技术指标:保证金计算及其在量化投资中的应用

    在量化投资中,基础数据和技术指标是构建交易策略和进行风险管理的重要依据。其中,保证金计算是一项关键任务,它帮助投资者确定合适的头寸规模,以确保风险控制和资金管理的有效性。本文将介绍保证金计算的基本原理,并通过源代码实现一个简单的保证金计算工具

    2024年02月07日
    浏览(27)
  • Azure 云计算的数据安全与保护:关键技术

    随着云计算技术的发展,数据安全和保护成为了企业和组织在云计算环境中的关键问题之一。Azure 云计算平台提供了一系列的数据安全和保护技术,以确保数据在云环境中的安全性和可靠性。在本文中,我们将深入探讨 Azure 云计算的数据安全与保护关键技术,并分析其核心概

    2024年04月09日
    浏览(35)
  • 重磅!腾讯正式开源 Spring Cloud Tencent,微服务套件又多一个选择

    1. Spring Boot + Spring Cloud 仍是 Java 生态最主流的框架 2014 年 4 月 Spring Boot 发布 1.0 版本,经过 8 年时间的发展,Spring Boot 已然成为 Java 开发框架的事实标准。在分布式微服务领域,2016 年 1 月 Spring Cloud 发布 Angel.SR5 版本。Spring Cloud 延承了 Spring Boot 最核心的组件化、低配置快速

    2024年04月26日
    浏览(20)
  • 【PostgreSQL 数据库技术峰会(成都站)】云原生虚拟数仓 PieCloudDB Database 的架构和关键模块实现...

    2023年6月17日,中国开源软件推进联盟 PostgreSQL 分会在成都举办了数据库技术峰会。此次峰会以“新机遇、新态势、新发展”为主题,结合当下信创热潮、人工智能等产业变革背景,探讨 PostgreSQL 数据库在这些新机遇下的发展前景。峰会邀请众多行业大咖、学术精英、技术专家

    2024年02月11日
    浏览(39)
  • Spring Cloud智慧工地源码,利用计算机技术、互联网、物联网、云计算、大数据等新一代信息技术开发,微服务架构

    智慧工地系统 充分利用计算机技术、互联网、物联网、云计算、大数据等新一代信息技术,以PC端,移动端,设备端三位一体的管控方式为企业现场工程管理提供了先进的技术手段。让劳务、设备、物料、安全、环境、能源、资料、计划、质量、视频监控等十大管理环节变得

    2024年02月05日
    浏览(44)
  • 【数据库技术】金管局计算机岗位——数据仓库(⭐⭐⭐⭐)

    考点导读:这个考点近几年都有考到。内容主要包括数据仓库的概念、功能、特点、与数据库的区别、架构与ETL操作等,属于能力拓展的知识内容,出题的可能性极大,注意理解掌握。 数据仓库(Data Warehouse),是为了企业所有级别的决策制定计划过程,提供所有类型数据类型

    2024年02月06日
    浏览(41)
  • 微服务平台(Tencent Service Framework,TSF)

    微服务平台 TSF - 文档中心 - 腾讯云 (tencent.com) TSF 服务治理平台对比基于开源 SpringCloud 自建平台,具有以下优势: 对比项 腾讯微服务平台 TSF Paas 平台 基于开源 SpringCloud 自建平台 服务注册中心 平台提供高可用的注册中心集群,金融级别容灾。 自行搭建,维护困难,可靠性

    2023年04月08日
    浏览(28)
  • 【云原生技术】云计算领域文件数据库简介

    云计算领域中的文件数据库,通常指的是一种以文件形式存储数据的非关系型数据库。这类数据库以文件(通常是 JSON、XML 或二进制格式)为基础单位来存储和管理数据,不同于传统的关系型数据库,它们不依赖于行和列的严格结构。 特点 非关系型结构 : 文件数据库不使用

    2024年01月25日
    浏览(29)
  • 大数据之指标计算(6) -- 编写Hive SQL代码,根据dwd层dwd.fact_environment_data表,统计检测设备的每月平均湿度与厂内检测结果做对比存入Mysql数据库中

      本题来源于全国职业技能大赛之大数据技术赛项工业数据处理赛题 - 离线数据处理 - 指标计算 注:由于个人设备问题,代码执行结果以及最后数据显示结果将不会给出。   提示:以下是本篇文章正文内容,下面案例可供参考(使用Scala语言编写)   涉及组件:Hive 涉及知

    2024年02月08日
    浏览(43)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包