分布式存储
Ceph、TFS、FastDFS、MooseFS(MFS)、GlusterFS(GFS)
存储机制会把数据分散存储到多个节点上,具有高扩展性、高性能、高可用性等优点。
#分布式存储的类型
●块存储(例如硬盘,一般是一个存储被一个服务器挂载使用,适用于容器或虚拟机存储卷分配、日志存储、文件存储)
块存储提供了一个像硬盘驱动器一样工作的存储卷,组织成大小相同的块。通常,要么操作系统用文件系统格式化基于块的存储卷,要么应用程序(如数据库)直接访问它来存储数据。
●文件存储(例如NFS,解决块存储无法共享问题,可以一个存储被多个服务器同时挂载,适用于目录结构的存储、日志存储)
允许将数据组织为传统的文件系统。数据保存在一个文件中,该文件具有名称和一些相关的元数据,例如修改时间戳、所有者和访问权限。提供基于文件的存储使用目录和子目录的层次结构来组织文件的存储方式。
●对象存储(例如OSS,一个存储可以被多服务同时访问,具备块存储的高速读写能力,也具备文件存储共享的特性,适用图片存储、视频存储)
基于API接口提供的文件存储,每一个文件都是一个对象,且文件大小各不相同的,文件的元数据和实际数据是存放在一起的。
对象存储允许将任意数据和元数据存储为一个单元,并在平面存储池中标记为惟一标识符。使用API存储和检索数据,而不是将数据作为块或在文件系统层次结构中访问。
ceph的简介
Ceph使用C++语言开发,是一个开放、自我修复和自我管理的开源分布式存储系统。具有高扩展性、高性能、高可靠性的优点。
ceph的优势
高扩展性:去中心化,支持使用普通X86服务器,支持上千个存储节点的规模,支持TB到EB级的扩展。
●高可靠性:没有单点故障,多数据副本,自动管理,自动修复。
●高性能:摒弃了传统的集中式存储元数据寻址的方案,采用 CRUSH 算法,数据分布均衡,并行度高。
●功能强大:Ceph是个大一统的存储系统,集块存储接口(RBD)、文件存储接口(CephFS)、对象存储接口(RadosGW)于一身,因而适用于不同的应用场景。
ceph的架构
RAODS LIBRADOS 高层应用接口 应用层
6、Ceph 数据的存储过程
1)客户端从 mon 获取最新的 Cluster Map
2)在 Ceph 中,一切皆对象。Ceph 存储的数据都会被切分成为一到多个固定大小的对象(Object)。Object size 大小可以由管理员调整,通常为 2M 或 4M。
每个对象都会有一个唯一的 OID,由 ino 与 ono 组成:
●ino :即是文件的 FileID,用于在全局唯一标识每一个文件
●ono :则是分片的编号
比如:一个文件 FileID 为 A,它被切成了两个对象,一个对象编号0,另一个编号1,那么这两个文件的 oid 则为 A0 与 A1。
OID 的好处是可以唯一标示每个不同的对象,并且存储了对象与文件的从属关系。由于 Ceph 的所有数据都虚拟成了整齐划一的对象,所以在读写时效率都会比较高。
3)通过对 OID 使用 HASH 算法得到一个16进制的特征码,用特征码与 Pool 中的 PG 总数取余,得到的序号则是 PGID 。
即 Pool_ID + HASH(OID) % PG_NUM 得到 PGID文章来源:https://www.toymoban.com/news/detail-472747.html
4)PG 会根据设置的副本数量进行复制,通过对 PGID 使用 CRUSH 算法算出 PG 中目标主和次 OSD 的 ID,存储到不同的 OSD 节点上(其实是把 PG 中的所有对象存储到 OSD 上)。
即通过 CRUSH(PGID) 得到将 PG 中的数据存储到各个 OSD 组中文章来源地址https://www.toymoban.com/news/detail-472747.html
到了这里,关于分布式存储ceph的介绍的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!