1.华为分布式存储fusionstorage介绍

这篇具有很好参考价值的文章主要介绍了1.华为分布式存储fusionstorage介绍。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

引论:
行业分布式解决方案:
1.Ceph 应用最多的开源分布式解决方案
2.Glusterfs
3.VMware VSAN
4.fusionStorage 华为

一、传统企业级别存储和Fsuion storage 对比

1.传统企业级存储控制器扩展有瓶颈,存储例如18000V6扩展到32控制器,5300V6可扩展到16个控制器,而FS可扩展到4096个控制节点
2.都可以提供SCSI和ISCSI接口
3.传统企业级存储的网络瓶颈是10GE,16GFC,而FS网络可以是100G的IB组网
4.传统企业级存储高级特性非常多,快照,双活,远程复制,克隆,而FStorage的高级特性少
5.传统企业级存储软件和硬件具有强绑定关系,买华为的存储,那么你拍快照,那么也得买快照的license,而FS本身就是一套软件,这套如软件理论可以安装在任何厂商的服务器上,只要是X86服务器都可以安装
6.传统企业级存储兼容性不好,稳定性好,而FS兼容性好,但是稳定性一般
7.传统存储资源缺乏共享:传统存储设备和资源往往由不同厂家提供,之间无法进行资源共享,数据中心看到的是一个个孤立的存储资源。
7.传统企业存储容量缓存瓶颈通常为GB,Fusion Storage可以缓存扩展到TB级1.华为分布式存储fusionstorage介绍

二、Fsuion storage的优点

  • 数据中心级资源共享:一个数据中心内可以构建一个很大的存储资源池,满足数据中心内各类应用对存储容量,性能和可靠性的需求;实现资源共享和统一管理。
  • 云数据中心的新存储投资选择。
  • FusionStorage采用的DHT算法具有以下特点:
  • 均衡性:数据能够尽可能分布到所有的节点中,这样可以使得所有节点负载均衡。
  • 单调性:当有新节点加入系统中,系统会重新进行数据分配,将现有节点上的少量数据迁移到新节点上,现有节点中的数据不需要做很大调整
  • FusionStorage通过创新的架构把分散的、低速的SATA/SAS机械硬盘组织成一个高效的类SAN存储池设备,提供比SAN设备更高的IO,把性能发挥到了极致;性能提升1-3倍。
  • FusionStorage采用无状态的分布式软件机头,机头部署在各个服务器上,无集中式机头的性能瓶颈。单个服务器上软件机头只占用较少的CPU资源,提供比集中式机头更高的IOPS和吞吐量。
  • 例如:假设系统中有20台服务器需要访问FusionStorage提供的存储资源,每台服务器提供给存储平面的带宽为210Gb,我们在每台服务器中部署1个VBS模块(相当于在每台服务器中部署1个存储控制器),20台服务器意味着可部署20个存储机头,所能获取到的总吞吐量最高可202*10Gb=400Gb,随着集群规模的不断扩大,可以线性增加的存储机头,突破了传统的双控或者多控存储系统集中式机头的性能瓶颈。

(VBS,OSD等会在后面介绍)

fusionStorage能够提供三个版本

  • fusionStorage Block 块存储:课程中学的 fusionStorage Object 对象存储
    fusionStorage file 文件存储

三、分布式存储快速增长

未来10年全球企业分布式存储市场快速增长,预计2027将占存储市场的70%份额。
1.华为分布式存储fusionstorage介绍

四,Fsuion Storage 两大主要应用场景

1.华为分布式存储fusionstorage介绍

  • 开发兼容:兼容主流数据库,兼容主流虚拟化平台,兼容主流服务器。
  • 融合部署:支持虚拟化平台和数据库资源池融合部署,即共用同一个数据中心FusionStorage存储资源池。
  • FusionStorage支持使用SSD替代HDD作为高速存储设备,支持使用Infiniband网络替代GE/10GE网络提供更高的带宽,为对性能要求极高的大数据量实时处理场景提供完美的支持千万级IOPS。

五、FusinStorgae解决方案选择参考

1.华为分布式存储fusionstorage介绍
FsuionStorage 推荐部署在,数据库,云资源池场景下
OLAP:联机事物分析数据库,用于做大数据未来预测的数据库
OLTP:联机事物处理数据库,针对个人的数据预测

六、FusionStorage销售版本

1.华为分布式存储fusionstorage介绍
自愈:其实就是数据恢复,使用DHT环副本进行恢复
IB组网:需要IB组网需要购买高级版本
SSD:如果是全SSD,那么需要购买高级版
以TB为销售单位,容量越大,价格越贵
1.华为分布式存储fusionstorage介绍

七、fusion storage block版本对服务器CPU要求

  • 服务器架构X86,ARM架构

部署方式:

  • 融合部署,CPU要求>八个线程
  • 分离部署,计算节点>四个线程
    存储节点>6个超线程

内存要求:
占用容量=FSA操作系统占用内存+fusionstorage

  • MDC进程占用5G内存
  • VBS进程占用8G内存,如果是IB网卡,VBS占用10G内存
  • OSD进程:

当使用SSD作为主存时,占用内存为=M主存SSD个数【单个SSD设备容量/切分容量默认600GB】
如果有四块1.2T SSD硬盘
那么计算公式是 M41.2T/600G=M8=3.58=28G内存
当切分容量小于<2T时M等于3.5,当切分容量>2T,切分容量每增加2T,M的取值增加1,例如
2T<切分容量<=4T时,那么M=4.5;4T<切分容量<6T时,M=5.5
如果切分单位不为整数那么就四舍五入
固态硬盘容量越大,那么需要的内存越大

当使用机械磁盘做主存时,占用内存(N*该服务器硬盘个数)
其中N根据网络和磁盘类型的不同取值如下:

使用IB组网时:

  • 单个磁盘容量<=2T;N=2.4
  • 单个磁盘容量>2T,容量每增加2T,N的取值增加1
  • 例如:2T<容量<4T,N=3.4 ;4T<容量<=6T,N=4.4

使用10GE组网时

  • 单个磁盘容量<=2T,N=2
  • 单个磁盘容量>2T,每增加2T,N的取值增加1
  • 例如:2T<容量<=4T,N=3 ;4T<容量<=6T,N=4

举例:如果使用10GE组网,四个机械盘,那么N=2的情况下
MDC+VBS+OSD(4块)=5G+8G+(2Gx4)=21G
21G+FSA操作系统占用8g=29G,如果物理机有128G内存,那么99G可以给虚拟机使用

八、fusion storage block版本对服务器磁盘要求

操作系统磁盘需要两个硬盘做RAID1 冗余
主存盘要求:
两副本时,3台服务器起配,每台服务器最少配置4块硬盘,一个存储池最大支持288块盘。
三副本时,3台服务器起配(推荐4台服务器起配),每台服务器最少配置4块硬盘,一个存储池最多配置256台服务器,最大支持2048块盘。

缓存盘要求:
每个服务器上提供给每个存储池使用的缓存数量为0个~4个
同一个存储池中的存储节点上缓存的数量、类型、大小必须一致
当存储池主存类型为SATA盘或者SAS盘时,存储池必须使用缓存。

每个存储池中硬盘数量不能少于12个

  • 同一个资源池中存储节点的硬盘数量差距不能大于2块,不能大于硬盘数量最多服务器的硬盘数的百分之30
  • 此处所指的是服务器上加入存储池的硬盘,并不是服务器上所有的硬盘总数
  • 同一个资源池中的类型必须一致,一个节点是SAS那么其他节点也得是SAS
  • 建议硬盘大小一致,如果硬盘大小不一致,系统会按照最小盘的容量使用
  • 同一个存储池的服务器,建议加入存储池中的槽位尽可能一致,如果不一致,差异槽位磁盘不能加入存储池
  • 如果RAID卡支持直通模式,直接开启直通即可,JBOD
  • 如果RAID卡不支持直通模式,则加入存储池的每一块硬盘必须做RAID
  • 如果只有三个节点,则每个节点需要4个存储盘,1个缓存盘,1个ZK盘,两个系统盘做RAID
  • 如果硬盘类型是SSD则不需要缓存,如果是机械硬盘那么必须使用缓存盘**

九、fusion storage block版本对服务器网络要求

IB交换机,使用IB链路,提供高速的网络速度

三个平面:

  • 管理网络:FSM管理FSA网络
  • 存储网络:各个存储节点之间互联的网络
  • 业务网络:给计算节点对接的网络 iscsi
    1.华为分布式存储fusionstorage介绍

十、技术规格参数

1.华为分布式存储fusionstorage介绍
fusionstage 部署至少需要三个节点,12块硬盘才能组成存储池
单集群支持的计算节点数量:最多可以给10240个计算机节点使用

十一、fusionstorage的部署模式

1. 融合部署:VBS和OSD装在一个服务器中,服务器即用来计算,也用于存储
这种做的好处是,CNA1,也可以使用CNA2上的存储资源,资源共享性高 不改变原有网络拓扑的情况就可以搭建分布式存储

1.华为分布式存储fusionstorage介绍

ps:缓存盘叫cache,用于暂时存储数据,然后写入到数据盘中

2. 分离部署:fusionstorage专门用于存储,不用于计算,计算使用专门的计算节点,高性能数据库应用则推荐采用分离部署的方式VBS和OSD不装在一起分开部署
VBS(用于访问集群内资源所以要部署在计算节点,

1.华为分布式存储fusionstorage介绍

十二、fusionStorage逻辑架构

1.华为分布式存储fusionstorage介绍
fusionStorage 由fusionStorage Manager和fusionStorage Agent 组成

  • FSM(FusionStorage
    Manager):FusionStorage管理模块,提供告警、监控、日志、配置等操作维护功能。一般情况下FSM主备节点部署
  • FSA(FusionStorage
    Agent):代理进程,部署在各节点上,实现各节点与FSM通信。FSA包含MDC、VBS和OSD三种不同的组件。根据系统不同配置要求,分别在不同的节点上启用不同的组件组合来完成特定的功能
    1.华为分布式存储fusionstorage介绍
  • MDC:管理组件,至少需要三个,元数据控制,实现对分布式集群的状态控制,以及控制数据分布式规则、数据重建规则等。
    MDC默认部署在3个节点的ZK(Zookeeper)盘上,形成MDC集群,用来存放mate
    和数据的对应关系,头部数据和实际数据位置的映射表,数据存放在那个机柜那个硬盘中,就是MDC负责的,还负责监控各个节点的状态
  • OSD:存储组件,至少需要12个,提供对象存储设备服务,执行具体的I/O操作。在每个服务器上部署多个OSD进程,一块磁盘默认对应部署一个OSD进程。在SSD卡作主存时,为了充分发挥SSD卡的性能,可以在1张SSD卡上部署多个OSD进程进行管理,例如2.4TB的SSD卡可以部署6个OSD进程,每个OSD进程负责管理400GB
  • VBS:计算组件,虚拟块存储管理组件,负责卷元数据的管理,提供分布式集群接入点服务,使计算资源能够通过VBS访问分布式存储资源。每个节点上默认部署一个VBS进程,形成VBS集群。节点上也可以通过部署多个VBS来提升IO性能,加入FSA节点,不装VBS服务器那么他只能用本地磁盘,装了VBS就可以用Fsuion
    storage 集群内的空间了(集中式部署情况),VBS负责切分业务数据,将文件切分为1m大小,然后交给OSD处理,最终存放到硬盘上
  • Zk:防止集群脑裂,一个系统需要部署3,5,7基数个ZK,为MDC集群提供仲裁,ZK至少三个,必须保证大于总数一半的ZK处在活跃才可以访问,
  • 什么情况会造成脑裂?
    例如fs有6个节点,其中有两个FSM,6个FSA,当FSA1到3之间只能和FSM2通信,但是不能和FSM1通信,FSM1,2
    之间也不能通信时,就会造成脑裂将形成两个集群,集群一中有3个FSA,集群二中也有三个FSA,但是集群1中有3个ZK活动,而集群二中只有2个zk活动,那么这个时候集群二就会选择自杀,集群一处于活跃状态,可以提供访问

解释:MDC相当于管理组件,至少部署三个,OSD相当于硬盘管理组件,每个硬盘至少部署一个,VBS相当于计算组件,如果FSA上不装VBS,那么他只能使用本地的硬盘,该情况直针对部署模式

十三、FsuionStorage备份容灾方案

1.华为分布式存储fusionstorage介绍
虚拟机可以使用ebackup方案进行备份,数据库可以使用Oracle自带的NBU

1.华为分布式存储fusionstorage介绍
VRG由华为容灾软件UltraVR配套提供。
虚拟机通过VRG来进行数据中心备份
数据库可以使用Oracle自带的DataGuard进行容灾文章来源地址https://www.toymoban.com/news/detail-407235.html

到了这里,关于1.华为分布式存储fusionstorage介绍的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 一款基于分布式文件存储的数据库MongoDB的介绍及基本使用教程

    MongoDB 是由C++语言编写的,是一个基于分布式文件存储的开源数据库系统。 在高负载的情况下,添加更多的节点,可以保证服务器性能。 MongoDB 旨在为WEB应用提供可扩展的高性能数据存储解决方案。 MongoDB 将数据存储为一个文档,数据结构由键值(key=value)对组成。MongoDB 文档类

    2024年01月17日
    浏览(40)
  • 基于文心一言AI大模型,编写一段python3程序以获取华为分布式块存储REST接口的实时数据

    本文尝试基于文心一言AI大模型,编写一段python3程序以获取华为分布式块存储REST接口的实时数据。 一、用文心一言AI大模型将需求转化为样例代码 1、第一次对话:“python3写一段从rest服务器获取数据的样例代码” 同时生成了以下注解  这段代码首先定义了一个函数  get_da

    2024年02月03日
    浏览(46)
  • 结合云计算的最新技术和现状,介绍云计算基础知识、开源分布式数据库Clickhouse、可视化数据分析工具、分布式链路跟踪系统Pinpoint、数据湖存储系统Pulsar等

    作者:禅与计算机程序设计艺术 2019年,“云计算”将成为“经济全球化”的热门词汇之一,2020年全球云计算市场规模预计达到1万亿美元。中国是继美国、英国之后,成为全球第四大云服务提供商。华为、腾讯、阿里巴巴等互联网巨头纷纷布局云计算领域,各家公司纷纷推出

    2024年02月08日
    浏览(54)
  • 【分布式】分布式存储架构

    说到分布式存储,我们先来看一下传统的存储是怎么个样子。 传统的存储也称为集中式存储, 从概念上可以看出来是具有集中性的,也就是整个存储是集中在一个系统中的,但集中式存储并不是一个单独的设备,是集中在一套系统当中的多个设备,比如下图中的 EMC 存储就需

    2024年02月10日
    浏览(49)
  • 【分布式技术】分布式存储ceph之RBD块存储部署

    目录 创建 Ceph 块存储系统 RBD 接口 服务端操作 1、创建一个名为 rbd-demo 的专门用于 RBD 的存储池 2、将存储池转换为 RBD 模式 3、初始化存储池 4、创建镜像 5、在管理节点创建并授权一个用户可访问指定的 RBD 存储池 6、修改RBD镜像特性,CentOS7默认情况下只支持layering和stripin

    2024年01月18日
    浏览(72)
  • 分布式键值存储是什么?(分布式键值存储大值)

    分布式键值存储是一种分布式数据存储系统,它将数据存储为键值对的形式,并将这些键值对分散在多个节点上。每个节点都可以独立地处理一部分数据,从而实现高可用性和可扩展性。分布式键值存储通常具有以下特点: 简单:数据以键值对的形式存储,操作简单,易于使

    2024年02月03日
    浏览(38)
  • 云存储、云计算与分布式存储、分布式计算是一回事吗?

    随着互联网的蓬勃兴起,大数据、人工智能、物联网、云计算与云存储等这些专业词汇在大众视野内出现的频率越来越高,再加上近几年分布式技术异军突起,更使得分布式存储、分布式计算等成为热词。然而,很多人对这些名词都一知半解,所以本文将主要和大家聊一聊,

    2024年01月25日
    浏览(56)
  • 【分布式技术】分布式存储ceph之RGW接口

    目录 1、对象存储概念  2、创建 RGW 接口 //在管理节点创建一个 RGW 守护进程 #创建成功后默认情况下会自动创建一系列用于 RGW 的存储池  #默认情况下 RGW 监听 7480 号端口  //开启 http+https ,更改监听端口 #更改监听端口 ​          //创建 RadosGW 账户 客户端测试 OSD 故障模拟

    2024年01月19日
    浏览(57)
  • 分布式系统架构设计之分布式数据存储的扩展方式、主从复制以及分布式一致性

    在分布式系统中,数据存储的扩展是为了适应业务的增长和提高系统的性能。分为水平扩展和垂直扩展两种方式,这两种方式在架构设计和应用场景上有着不同的优势和局限性。 水平扩展是通过增加节点或服务器的数量来扩大整个系统的容量和性能。在数据存储领域,水平扩

    2024年02月03日
    浏览(70)
  • ceph分布式存储

    Ceph是当前非常流行的开源分布式存储系统,具有高扩展性、高性能、高可靠性 等优点,同时提供块存储服务(rbd)、对象存储服务(rgw)以及文件系统存储服务(cephfs),Ceph在存储的时候充分利用存储节点的计算能力,在存储每一个数据时 都会通过计算得出该数据的位置,尽量的分

    2023年04月08日
    浏览(46)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包