目录
GFS
GFS简介
GFS特点
GFS术语
GFS工作流程
GFS卷类型
部署GFS群集
安装、启动GFS(所有node节点上操作)
创建卷
创建分布式卷
创建条带卷
创建复制卷
创建分布式条带卷
创建分布式复制卷
查看当前所有卷的列表
编辑部署 Gluster 客户端
创建挂载目录
配置/etc/hosts文件
挂载 Gluster 文件系统
测试 Gluster 文件系统
查看文件分布
破坏性测试
分布式卷数据查看
条带卷
分布式条带卷
分布式复制卷
挂起 node2 和 node4 节点,在客户端上查看文件是否正常
测试复制卷是否正常
测试分布式条卷是否正常
测试分布式复制卷是否正常
扩展其他的维护命令
GFS
GFS简介
开源的分布式文件系统
由存储服务器、客户端以及NFS/Samba存储网关组成
无元数据服务器
GFS特点
扩展性和高性能:分布式的特性
高可用性:冗余 有容灾的能力
全局统一命名空间:每个空间都可以做一个数据隔离
弹性卷管理:raid0 1 5 10
基于标准协议:你支持的协议:GFS http NFS FTP
GFS术语
Brick(存储块):指可信主机池中由主机提供的用于物理存储的专用分区,是GlusterFS中的基本存储单元,同时也是可信存储池中服务器上对外提供的存储目录。
Volume(逻辑卷):一个逻辑卷是一组 Brick 的集合。卷是数据存储的逻辑设备,类似于 LVM 中的逻辑卷。大部分 Gluster 管理操作是在卷上进行的。
FUSE:是一个内核模块,允许用户创建自己的文件系统,无须修改内核代码。伪文件系统
VFS:内核空间对用户空间提供的访问磁盘的接口。虚拟端口
Glusterd(后台管理进程):服务端 在存储群集中的每个节点上都要运行。
GFS工作流程
(1)客户端或应用程序通过 GlusterFS 的挂载点访问数据。
(2)linux系统内核通过 VFS API 收到请求并处理。
(3)VFS 将数据递交给 FUSE 内核文件系统,并向系统注册一个实际的文件系统 FUSE,而 FUSE 文件系统则是将数据通过 /dev/fuse 设备文件递交给了 GlusterFS client 端。可以将 FUSE 文件系统理解为一个代理。
(4)GlusterFS client 收到数据后,client 根据配置文件的配置对数据进行处理。
(5)经过 GlusterFS client 处理后,通过网络将数据传递至远端的 GlusterFS Server,并且将数据写入到服务器存储设备上。
GFS卷类型
分布式卷:文件通过 HASH 算法分布到所有 Brick Server 上,这种卷是 GlusterFS 的默认卷;以文件为单位根据 HASH 算法散列到不同的 Brick,其实只是扩大了磁盘空间,如果有一块磁盘损坏,数据也将丢失,属于文件级的 RAID0, 不具有容错能力。
在该模式下,并没有对文件进行分块处理,文件直接存储在某个 Server 节点上。 由于直接使用本地文件系统进行文件存储,所以存取效率并没有提高,反而会因为网络通信的原因而有所降低。
特点:
文件分布在不同的服务器,不具备冗余性。
更容易和廉价地扩展卷的大小。
单点故障会造成数据丢失。
依赖底层的数据保护。
条带卷:类似 RAID0,文件被分成数据块并以轮询的方式分布到多个 Brick Server 上,文件存储以数据块为单位,支持大文件存储, 文件越大,读取效率越高,但是不具备冗余性。
特点:
数据被分割成更小块分布到块服务器群中的不同条带区。
分布减少了负载且更小的文件加速了存取的速度。
没有数据冗余
复制卷:将文件同步到多个 Brick 上,使其具备多个文件副本,属于文件级 RAID 1,具有容错能力。因为数据分散在多个 Brick 中,所以读性能得到很大提升,但写性能下降。
复制卷具备冗余性,即使一个节点损坏,也不影响数据的正常使用。但因为要保存副本,所以磁盘利用率较低。
特点:
卷中所有的服务器均保存一个完整的副本。
卷的副本数量可由客户创建的时候决定,但复制数必须等于卷中 Brick 所包含的存储服务器数。
至少由两个块服务器或更多服务器。
具备冗余性。
分布式条带卷:Brick Server 数量是条带数(数据块分布的 Brick 数量)的倍数,兼具分布式卷和条带卷的特点。 主要用于大文件访问处理,创建一个分布式条带卷最少需要 4 台服务器。
分布式复制卷:Brick Server 数量是镜像数(数据副本数量)的倍数,兼具分布式卷和复制卷的特点。主要用于需要冗余的情况下。
条带复制卷:类似 RAID 10,同时具有条带卷和复制卷的特点。
分布式条带复制卷:三种基本卷的复合卷,通常用于类 Map Reduce 应用。
部署GFS群集
实验环境
Node1节点:node1/192.168.10.13 磁盘:/dev/sdb1 挂载点:/data/sdb1
/dev/sdc1 /data/sdc1
/dev/sdd1 /data/sdd1
/dev/sde1 /data/sde1
Node2节点:node2/192.168.10.14 磁盘:/dev/sdb1 挂载点:/data/sdb1
/dev/sdc1 /data/sdc1
/dev/sdd1 /data/sdd1
/dev/sde1 /data/sde1
Node3节点:node3/192.168.10.15 磁盘:/dev/sdb1 挂载点:/data/sdb1
/dev/sdc1 /data/sdc1
/dev/sdd1 /data/sdd1
/dev/sde1 /data/sde1
Node4节点:node4/192.168.10.16 磁盘:/dev/sdb1 挂载点:/data/sdb1
/dev/sdc1 /data/sdc1
/dev/sdd1 /data/sdd1
/dev/sde1 /data/sde1
systemctl stop firewalld
setenforce 0
每台添加4块硬盘 添加完重新启动虚拟机
磁盘分区,并挂载,因为要做四台机器写个脚本方便刷
chmod +x /opt/fdisk.sh #加上执行权限
./fdisk.sh #执行脚本
每台机器修改主机名
安装、启动GFS(所有node节点上操作)
一样刷脚本
yum -y install centos-release-gluster #如采用官方 YUM 源安装,可以直接指向互联网仓库
添加节点到存储信任池中(在 node1 节点上操作)
#只要在一台Node节点上添加其它节点即可
gluster peer probe node1
gluster peer probe node2
gluster peer probe node3
gluster peer probe node4
#在每个Node节点上查看群集状态
gluster peer status
创建卷
#根据规划创建如下卷:
卷名称 卷类型 Brick
dis-volume 分布式卷 node1(/data/sdb1)、node2(/data/sdb1)
stripe-volume 条带卷 node1(/data/sdc1)、node2(/data/sdc1)
rep-volume 复制卷 node3(/data/sdb1)、node4(/data/sdb1)
dis-stripe 分布式条带卷 node1(/data/sdd1)、node2(/data/sdd1)、node3(/data/sdd1)、node4(/data/sdd1)
dis-rep 分布式复制卷 node1(/data/sde1)、node2(/data/sde1)、node3(/data/sde1)、node4(/data/sde1)
创建分布式卷
创建条带卷
创建复制卷
创建分布式条带卷
创建分布式复制卷
查看当前所有卷的列表
部署 Gluster 客户端
yum -y install glusterfs glusterfs-fuse
创建挂载目录
配置/etc/hosts文件
echo "192.168.131.100 node1" >> /etc/hosts
echo "192.168.131.101 node2" >> /etc/hosts
echo "192.168.131.102 node3" >> /etc/hosts
echo "192.168.131.103 node4" >> /etc/hosts
挂载 Gluster 文件系统
#临时挂载
mount.glusterfs node1:dis-volume /test/dis
mount.glusterfs node1:stripe-volume /test/stripe
mount.glusterfs node1:rep-volume /test/rep
mount.glusterfs node1:dis-stripe /test/dis_stripe
mount.glusterfs node1:dis-rep /test/dis_rep
#永久挂载
vim /etc/fstab
node1:dis-volume /test/dis glusterfs defaults,_netdev 0 0
node1:stripe-volume /test/stripe glusterfs defaults,_netdev 0 0
node1:rep-volume /test/rep glusterfs defaults,_netdev 0 0
node1:dis-stripe /test/dis_stripe glusterfs defaults,_netdev 0 0
node1:dis-rep /test/dis_rep glusterfs defaults,_netdev 0 0
测试 Gluster 文件系统
卷中写入文件,客户端操作
dd if=/dev/zero of=/opt/demo1.log bs=1M count=40
dd if=/dev/zero of=/opt/demo2.log bs=1M count=40
dd if=/dev/zero of=/opt/demo3.log bs=1M count=40
dd if=/dev/zero of=/opt/demo4.log bs=1M count=40
dd if=/dev/zero of=/opt/demo5.log bs=1M count=40
ls -lh /opt
查看文件分布
查看分布式文件分布 #数据没有被分片
查看条带卷文件分布 #数据被分片50% 没副本 没冗余
查看复制卷分布 #数据没有被分片 有副本 有冗余
查看分布式条带卷分布 #数据被分片50% 没副本 没冗余
查看分布式复制卷分布 #数据没有被分片 有副本 有冗余
破坏性测试
通过挂起node2客户机模拟故障
在客户端上查看文件是否正常
分布式卷数据查看
在客户机上发现少了demo5.log文件,这个是在node2上的
条带卷
分布式条带卷
分布式复制卷
挂起 node2 和 node4 节点,在客户端上查看文件是否正常
测试复制卷是否正常
测试分布式条卷是否正常
测试分布式复制卷是否正常
文章来源:https://www.toymoban.com/news/detail-408238.html
总结:上述实验测试,凡是带复制数据,相比而言,数据比较安全文章来源地址https://www.toymoban.com/news/detail-408238.html
扩展其他的维护命令
1.查看GlusterFS卷
gluster volume list
2.查看所有卷的信息
gluster volume info
3.查看所有卷的状态
gluster volume status
4.停止一个卷
gluster volume stop dis-stripe
5.删除一个卷,注意:删除卷时,需要先停止卷,且信任池中不能有主机处于宕机状态,否则删除不成功
gluster volume delete dis-stripe
6.设置卷的访问控制
#仅拒绝
gluster volume set dis-rep auth.deny 192.168.80.100
#仅允许
gluster volume set dis-rep auth.allow 192.168.80.* #设置192.168.80.0网段的所有IP地址都能访问dis-rep卷(分布式复制卷)
安装报错:版本过高,先解除依赖关系
yum remove glusterfs-api.x86_64 glusterfs-cli.x86_64 glusterfs.x86_64 glusterfs-libs.x86_64 glusterfs-client-xlators.x86_64 glusterfs-fuse.x86_64 -y
到了这里,关于GFS分布式文件系统的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!