引论:
行业分布式解决方案:
1.Ceph 应用最多的开源分布式解决方案
2.Glusterfs
3.VMware VSAN
4.fusionStorage 华为
一、传统企业级别存储和Fsuion storage 对比
1.传统企业级存储控制器扩展有瓶颈,存储例如18000V6扩展到32控制器,5300V6可扩展到16个控制器,而FS可扩展到4096个控制节点
2.都可以提供SCSI和ISCSI接口
3.传统企业级存储的网络瓶颈是10GE,16GFC,而FS网络可以是100G的IB组网
4.传统企业级存储高级特性非常多,快照,双活,远程复制,克隆,而FStorage的高级特性少
5.传统企业级存储软件和硬件具有强绑定关系,买华为的存储,那么你拍快照,那么也得买快照的license,而FS本身就是一套软件,这套如软件理论可以安装在任何厂商的服务器上,只要是X86服务器都可以安装
6.传统企业级存储兼容性不好,稳定性好,而FS兼容性好,但是稳定性一般
7.传统存储资源缺乏共享:传统存储设备和资源往往由不同厂家提供,之间无法进行资源共享,数据中心看到的是一个个孤立的存储资源。
7.传统企业存储容量缓存瓶颈通常为GB,Fusion Storage可以缓存扩展到TB级
二、Fsuion storage的优点
- 数据中心级资源共享:一个数据中心内可以构建一个很大的存储资源池,满足数据中心内各类应用对存储容量,性能和可靠性的需求;实现资源共享和统一管理。
- 云数据中心的新存储投资选择。
- FusionStorage采用的DHT算法具有以下特点:
- 均衡性:数据能够尽可能分布到所有的节点中,这样可以使得所有节点负载均衡。
- 单调性:当有新节点加入系统中,系统会重新进行数据分配,将现有节点上的少量数据迁移到新节点上,现有节点中的数据不需要做很大调整
- FusionStorage通过创新的架构把分散的、低速的SATA/SAS机械硬盘组织成一个高效的类SAN存储池设备,提供比SAN设备更高的IO,把性能发挥到了极致;性能提升1-3倍。
- FusionStorage采用无状态的分布式软件机头,机头部署在各个服务器上,无集中式机头的性能瓶颈。单个服务器上软件机头只占用较少的CPU资源,提供比集中式机头更高的IOPS和吞吐量。
- 例如:假设系统中有20台服务器需要访问FusionStorage提供的存储资源,每台服务器提供给存储平面的带宽为210Gb,我们在每台服务器中部署1个VBS模块(相当于在每台服务器中部署1个存储控制器),20台服务器意味着可部署20个存储机头,所能获取到的总吞吐量最高可202*10Gb=400Gb,随着集群规模的不断扩大,可以线性增加的存储机头,突破了传统的双控或者多控存储系统集中式机头的性能瓶颈。
(VBS,OSD等会在后面介绍)
fusionStorage能够提供三个版本
- fusionStorage Block 块存储:课程中学的 fusionStorage Object 对象存储
fusionStorage file 文件存储
三、分布式存储快速增长
未来10年全球企业分布式存储市场快速增长,预计2027将占存储市场的70%份额。
四,Fsuion Storage 两大主要应用场景
- 开发兼容:兼容主流数据库,兼容主流虚拟化平台,兼容主流服务器。
- 融合部署:支持虚拟化平台和数据库资源池融合部署,即共用同一个数据中心FusionStorage存储资源池。
- FusionStorage支持使用SSD替代HDD作为高速存储设备,支持使用Infiniband网络替代GE/10GE网络提供更高的带宽,为对性能要求极高的大数据量实时处理场景提供完美的支持千万级IOPS。
五、FusinStorgae解决方案选择参考
FsuionStorage 推荐部署在,数据库,云资源池场景下
OLAP:联机事物分析数据库,用于做大数据未来预测的数据库
OLTP:联机事物处理数据库,针对个人的数据预测
六、FusionStorage销售版本
自愈:其实就是数据恢复,使用DHT环副本进行恢复
IB组网:需要IB组网需要购买高级版本
SSD:如果是全SSD,那么需要购买高级版
以TB为销售单位,容量越大,价格越贵
七、fusion storage block版本对服务器CPU要求
- 服务器架构X86,ARM架构
部署方式:
- 融合部署,CPU要求>八个线程
- 分离部署,计算节点>四个线程
存储节点>6个超线程
内存要求:
占用容量=FSA操作系统占用内存+fusionstorage
- MDC进程占用5G内存
- VBS进程占用8G内存,如果是IB网卡,VBS占用10G内存
- OSD进程:
当使用SSD作为主存时,占用内存为=M主存SSD个数【单个SSD设备容量/切分容量默认600GB】
如果有四块1.2T SSD硬盘
那么计算公式是 M41.2T/600G=M8=3.58=28G内存
当切分容量小于<2T时M等于3.5,当切分容量>2T,切分容量每增加2T,M的取值增加1,例如
2T<切分容量<=4T时,那么M=4.5;4T<切分容量<6T时,M=5.5
如果切分单位不为整数那么就四舍五入
固态硬盘容量越大,那么需要的内存越大
当使用机械磁盘做主存时,占用内存(N*该服务器硬盘个数)
其中N根据网络和磁盘类型的不同取值如下:
使用IB组网时:
- 单个磁盘容量<=2T;N=2.4
- 单个磁盘容量>2T,容量每增加2T,N的取值增加1
- 例如:2T<容量<4T,N=3.4 ;4T<容量<=6T,N=4.4
使用10GE组网时
- 单个磁盘容量<=2T,N=2
- 单个磁盘容量>2T,每增加2T,N的取值增加1
- 例如:2T<容量<=4T,N=3 ;4T<容量<=6T,N=4
举例:如果使用10GE组网,四个机械盘,那么N=2的情况下
MDC+VBS+OSD(4块)=5G+8G+(2Gx4)=21G
21G+FSA操作系统占用8g=29G,如果物理机有128G内存,那么99G可以给虚拟机使用
八、fusion storage block版本对服务器磁盘要求
操作系统磁盘需要两个硬盘做RAID1 冗余
主存盘要求:
两副本时,3台服务器起配,每台服务器最少配置4块硬盘,一个存储池最大支持288块盘。
三副本时,3台服务器起配(推荐4台服务器起配),每台服务器最少配置4块硬盘,一个存储池最多配置256台服务器,最大支持2048块盘。
缓存盘要求:
每个服务器上提供给每个存储池使用的缓存数量为0个~4个
同一个存储池中的存储节点上缓存的数量、类型、大小必须一致
当存储池主存类型为SATA盘或者SAS盘时,存储池必须使用缓存。
每个存储池中硬盘数量不能少于12个
- 同一个资源池中存储节点的硬盘数量差距不能大于2块,不能大于硬盘数量最多服务器的硬盘数的百分之30
- 此处所指的是服务器上加入存储池的硬盘,并不是服务器上所有的硬盘总数
- 同一个资源池中的类型必须一致,一个节点是SAS那么其他节点也得是SAS
- 建议硬盘大小一致,如果硬盘大小不一致,系统会按照最小盘的容量使用
- 同一个存储池的服务器,建议加入存储池中的槽位尽可能一致,如果不一致,差异槽位磁盘不能加入存储池
- 如果RAID卡支持直通模式,直接开启直通即可,JBOD
- 如果RAID卡不支持直通模式,则加入存储池的每一块硬盘必须做RAID
- 如果只有三个节点,则每个节点需要4个存储盘,1个缓存盘,1个ZK盘,两个系统盘做RAID
- 如果硬盘类型是SSD则不需要缓存,如果是机械硬盘那么必须使用缓存盘**
九、fusion storage block版本对服务器网络要求
IB交换机,使用IB链路,提供高速的网络速度
三个平面:
- 管理网络:FSM管理FSA网络
- 存储网络:各个存储节点之间互联的网络
- 业务网络:给计算节点对接的网络 iscsi
十、技术规格参数
fusionstage 部署至少需要三个节点,12块硬盘才能组成存储池
单集群支持的计算节点数量:最多可以给10240个计算机节点使用
十一、fusionstorage的部署模式
1. 融合部署:VBS和OSD装在一个服务器中,服务器即用来计算,也用于存储
这种做的好处是,CNA1,也可以使用CNA2上的存储资源,资源共享性高 不改变原有网络拓扑的情况就可以搭建分布式存储
ps:缓存盘叫cache,用于暂时存储数据,然后写入到数据盘中
2. 分离部署:fusionstorage专门用于存储,不用于计算,计算使用专门的计算节点,高性能数据库应用则推荐采用分离部署的方式VBS和OSD不装在一起分开部署
VBS(用于访问集群内资源所以要部署在计算节点,
十二、fusionStorage逻辑架构
fusionStorage 由fusionStorage Manager和fusionStorage Agent 组成
- FSM(FusionStorage
Manager):FusionStorage管理模块,提供告警、监控、日志、配置等操作维护功能。一般情况下FSM主备节点部署 - FSA(FusionStorage
Agent):代理进程,部署在各节点上,实现各节点与FSM通信。FSA包含MDC、VBS和OSD三种不同的组件。根据系统不同配置要求,分别在不同的节点上启用不同的组件组合来完成特定的功能
- MDC:管理组件,至少需要三个,元数据控制,实现对分布式集群的状态控制,以及控制数据分布式规则、数据重建规则等。
MDC默认部署在3个节点的ZK(Zookeeper)盘上,形成MDC集群,用来存放mate
和数据的对应关系,头部数据和实际数据位置的映射表,数据存放在那个机柜那个硬盘中,就是MDC负责的,还负责监控各个节点的状态 - OSD:存储组件,至少需要12个,提供对象存储设备服务,执行具体的I/O操作。在每个服务器上部署多个OSD进程,一块磁盘默认对应部署一个OSD进程。在SSD卡作主存时,为了充分发挥SSD卡的性能,可以在1张SSD卡上部署多个OSD进程进行管理,例如2.4TB的SSD卡可以部署6个OSD进程,每个OSD进程负责管理400GB
- VBS:计算组件,虚拟块存储管理组件,负责卷元数据的管理,提供分布式集群接入点服务,使计算资源能够通过VBS访问分布式存储资源。每个节点上默认部署一个VBS进程,形成VBS集群。节点上也可以通过部署多个VBS来提升IO性能,加入FSA节点,不装VBS服务器那么他只能用本地磁盘,装了VBS就可以用Fsuion
storage 集群内的空间了(集中式部署情况),VBS负责切分业务数据,将文件切分为1m大小,然后交给OSD处理,最终存放到硬盘上 - Zk:防止集群脑裂,一个系统需要部署3,5,7基数个ZK,为MDC集群提供仲裁,ZK至少三个,必须保证大于总数一半的ZK处在活跃才可以访问,
- 什么情况会造成脑裂?
例如fs有6个节点,其中有两个FSM,6个FSA,当FSA1到3之间只能和FSM2通信,但是不能和FSM1通信,FSM1,2
之间也不能通信时,就会造成脑裂将形成两个集群,集群一中有3个FSA,集群二中也有三个FSA,但是集群1中有3个ZK活动,而集群二中只有2个zk活动,那么这个时候集群二就会选择自杀,集群一处于活跃状态,可以提供访问
解释:MDC相当于管理组件,至少部署三个,OSD相当于硬盘管理组件,每个硬盘至少部署一个,VBS相当于计算组件,如果FSA上不装VBS,那么他只能使用本地的硬盘,该情况直针对部署模式
十三、FsuionStorage备份容灾方案
虚拟机可以使用ebackup方案进行备份,数据库可以使用Oracle自带的NBU文章来源:https://www.toymoban.com/news/detail-407235.html
VRG由华为容灾软件UltraVR配套提供。
虚拟机通过VRG来进行数据中心备份
数据库可以使用Oracle自带的DataGuard进行容灾文章来源地址https://www.toymoban.com/news/detail-407235.html
到了这里,关于1.华为分布式存储fusionstorage介绍的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!