Ceph学习 -5.存储原理

这篇具有很好参考价值的文章主要介绍了Ceph学习 -5.存储原理。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

1.存储原理

学习目标:这一节,我们从存储解读、案例解读、小结三个方面来学习。

1.1 存储解读

存储数据

Ceph 存储集群从 Ceph 客户端接收数据,无论是通过 Ceph 块设备、Ceph 对象存储、Ceph 文件系统还是使用 librados 创建的自定义实现,这些数据存储为 RADOS 对象,每个对象都存储在一个对象存储设备上。
Ceph OSD 守护进程处理存储驱动器上的读、写和复制操作。它主要基于两种文件方式实现:
	- FileStore方式,每个 RADOS 对象都作为一个单独的文件存储在传统文件系统(通常是 XFS)上。
	- BlueStore方式,对象以类似整体数据库的方式存储,这是最新版本 Ceph 默认的存储方式。

注意:在 Ceph 中,每一个文件都会被拆分为多个独立的 Object,然后按照上面的逻辑进行持久化。

Ceph学习 -5.存储原理,Ceph,ceph

Ceph OSD 守护进程将 “数据” 作为对象存储在平面命名空间中,该对象包括如下部分:
	- 标识符:在内存中唯一查找的标识
	- 二进制数据:每个对象的真实数据
	- 属性数据:由一组名称/值对组成的元数据,语义完全取决于 Ceph 客户端。
例如,CephFS 使用元数据来存储文件属性,例如文件所有者、创建日期、上次修改日期等。

注意:对象 ID 在整个集群中是唯一的,而不仅仅是本地文件系统。

Ceph学习 -5.存储原理,Ceph,ceph

1.2 案例解读

1.2.1 存储示例

存储一个大小为16M的文件,存储的时候,需要首先进行切割,假设每个对象(object)大小为4M,然后通过hash方式将object存储到对应的PG上,然后通过CRUSH策略将对应的数据关联到不同的hosts上。
	这个时候遇到一个问题:OSD是一个磁盘设备,那么如何来进行存储数据

常见的处理措施主要有两种:
	第一种:将OSD格式化为文件系统,然后挂载到对应目录,然后就可以使用了
	第二种:OSD有自己的守护进程,那么直接在守护进程空间中实现数据的处理

1.2.2 方法1 - FileStore

Ceph学习 -5.存储原理,Ceph,ceph

这个时候,OSD就变成一个文件系统中的文件(目录)了。
	因此,OSD需要维护object的对象属性信息,object的元数据保存到 OSD(文件系统)的元数据区。
	但是文件系统的元数据区只能存放文件的 属主、属组、权限、时间戳等信息。对于Ceph来说,object的元数据信息却包含很多相关信息,那么这些数据保存到哪里?
那么为了保存文件系统默认能够保存的数据之外的元数据(object对象的其他元数据信息),我们就需要将OSD做成一个XFS文件系统,在这个文件系统中,需要有一个单独的数据库(LevelDB),来维护Ceph的元数据信息,效果如下

Ceph学习 -5.存储原理,Ceph,ceph

由于这种方式是基于文件系统映射的方式来实现 Ceph 的属性存储,所以我们把这种文件的存储方式称为:FileStore
劣势:
	由于我们的object本来已经称为对象了,而在FileStore中,我们需要将其转换为文件方式来进行数据属性的存储,所以效率有些慢。

附注:
	- XFS是被开发用于高容量磁盘以及高性能文件系统之用的。主要规划为三个部分:
		- 资料区(data section):粗出包括 inode、block、superblock等数据
		- 文件系统活动登录区(log section):用来记录文件系统的变化
		- 实时运作(realtime section):数据真正存储的地方

1.2.3 方法2 - BlueStore

因为OSD对象是由一个ceph-osd守护进程来实现存储数据、处理数据复制、恢复、重新平衡等管理操作的。所以新版的Ceph的OSD进程中,维护了一个RocksDB用于存储objects的元数据属性信息。
RocksDB为了实现数据的存储还需要一个文件系统,所以Ceph就为它开发了一个文件系统BlueFS。
	
RocksDB + BlueFS 共同实现了objects的元数据的存储,所以我们把这种存储方式称为BlueStore。新版的Ceph的存储机制,默认采用的就是 BlueStore 机制。

Ceph学习 -5.存储原理,Ceph,ceph文章来源地址https://www.toymoban.com/news/detail-851838.html

1.3 小结


到了这里,关于Ceph学习 -5.存储原理的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 【Ceph集群应用】Ceph对象存储系统之RGW接口详解

    接上文基于ceph-deploy部署Ceph集群详解 (1)对象存储概念 对象存储(object storage)是非结构数据的存储方法,对象存储中每一条数据都作为单独的对象存储,拥有唯一的地址来识别数据对象,通常用于云计算环境中。 不同于其他数据存储方法, 基于对象的存储不使用目录树

    2024年02月17日
    浏览(40)
  • ceph分布式存储

    Ceph是当前非常流行的开源分布式存储系统,具有高扩展性、高性能、高可靠性 等优点,同时提供块存储服务(rbd)、对象存储服务(rgw)以及文件系统存储服务(cephfs),Ceph在存储的时候充分利用存储节点的计算能力,在存储每一个数据时 都会通过计算得出该数据的位置,尽量的分

    2023年04月08日
    浏览(49)
  • 【分布式】ceph存储

    DAS(直接附加存储,是直接接到计算机的主板总线上去的存储) IDE、SATA、SCSI、SAS、USB 接口的磁盘 所谓接口就是一种存储设备驱动下的磁盘设备,提供块级别的存储 NAS(网络附加存储,是通过网络附加到当前主机文件系统之上的存储) NFS、CIFS、FTP 文件系统级别的存储,本

    2024年02月16日
    浏览(45)
  • Ceph 分布式存储

    DAS(直接附加存储,是直接接到计算机的主板总线上去的存储) IDE、SATA、SCSI、SAS、USB 接口的磁盘 所谓接口就是一种存储设备驱动下的磁盘设备,提供块级别的存储 NAS(网络附加存储,是通过网络附加到当前主机文件系统之上的存储) NFS、CIFS、FTP 文件系统级别的存储,本

    2024年02月16日
    浏览(43)
  • Ceph 存储(最详细!)

    目录 一:存储基础 1、单机存储设备 (1)DAS(直接附加存储,是直接接到计算机的主板总线上去的存储) (2)NAS(网络附加存储,是通过网络附加到当前主机文件系统之上的存储) (3)SAN(存储区域网络) 2、单机存储的问题 (1)存储处理能力不足 (2)存储空间能力不

    2024年02月16日
    浏览(40)
  • 分部署存储Ceph

    投入使用ceph前,要知道一个很现实得问题,ceph对低版本内核得客户端使用非常不友好,低内核是指小于等于3.10.0-862,默认的centos7.5及以下的系统都是小于此类内核,无法正常使用ceph的文件存储(cephFS)块存储(RBD)。 ceph部署一定要考虑好版本问题,经测试如果想使用cep

    2024年02月11日
    浏览(40)
  • 分布式存储Ceph部署

    前言 Ceph 和 GlusterFS 都是出色的分布式存储,其中Ceph 广泛由于Openstack以及K8S的分布式持久化存储。 介绍 Ceph 是一个开源的分布式存储系统,同时支持 对象存储、块设备、文件系统 ceph 是一个对象(object)式存储系统,它把每一个待管理的数据流(文件等数据)切分为一到多个固

    2024年02月14日
    浏览(45)
  • Ceph分布式存储笔记

    1、Ceph概念 分布式存储 是指一种独特的系统架构,它由一组网络进行通信、为了完成共同的任务而协调工作的计算机节点组成;分布式系统是为了用廉价的、普通的机器完成单个计算无法完成的计算、存储任务;其目的是利用更多的机器,处理更多的数据。 Ceph是一个统一【

    2023年04月08日
    浏览(55)
  • Ceph分布式存储(1)

    目录 一.ceph分布式存储 Ceph架构(自上往下) OSD的存储引擎: Ceph的存储过程: 二. 基于 ceph-deploy 部署 Ceph 集群 20-40节点上添加3块硬盘,一个网卡: 10节点为admin,20-40为node,50为client: 配置 hosts 解析: 安装常用软件和依赖包: 在 admin 管理节点配置 ssh 免密登录所有节点:

    2024年01月18日
    浏览(48)
  • Ceph分布式存储系统

    Ceph :ceph被称为面向未来的存储还是一个分布式的存储系统,非常灵活,如果需要扩容,只要向ceph集中增加服务器即可。ceph存储数据时采用多副本的方式进行存储,生产环境下,一个文件至少要存三份,ceph默认也是三副本存储。 可以实现的 存储方式 : 块存储:提供像普通

    2024年04月15日
    浏览(46)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包