分布式存储系统Ceph应用组件介绍

这篇具有很好参考价值的文章主要介绍了分布式存储系统Ceph应用组件介绍。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

1、 无中心架构分布式存储Ceph

Ceph是一套开源的分布式存储系统。具有可靠性高,性能优良,可伸缩,与HDFS不同的地方在于,该架构中没有中心节点。    

Ceph优点在于它不单单是存储,同时还充分利用了存储节点上的计算能力,在存储每一个数据时,都会通过计算得出该数据存储的位置,尽量将数据均衡分布,因此它不存在传统的单点故障的问题,且随着规模的扩大,性能并不会受到影响。能够可靠地、自动重均衡、自动恢复集群状态。

Ceph可实现三种存储方式:块设备存储,CephFS 文件系统,对象存储。

那么Ceph能做什么?我们可以把文件想象成粮食,那么Ceph就是一个粮仓,这个粮仓可以通过三种不同的方式来存储粮食。这个粮仓可以容纳很多很多的仓库,每个仓库可以存放很多很多的粮食。


2、 Ceph的功能特性

放弃传统的集中式存储元数据寻址的方式,采用CRUSH算法,数据分布均衡,没有单点故障。
考虑了容灾域的隔离,能够实现各类负载副本放置规则。同样的还是以粮仓为例子。当一个仓库着火了,我们可以通过隔断门将其与其他正常的仓库隔离。避免影响到其他正常的仓库。
能够支持上千个存储节点的规模,支持TB和PB级别的数据。
扩展灵活,就是说支持动态的增加存储节点。
副本数可以灵活控制,默认情况下Ceph的副本数是3个,可以在配置文件中修改副本的数量。


3、 mon组件的概念与作用
Mon的概念:
mon组件是monitor(监视器)的意思,顾名思义就是监视整个集群的运行状态。整个集群的大管家。一个ceph集群中至少要有一个监视器,一般为了保证集群的高可用,最少需要启动3个监视器,这样就可以避免单点故障。
Mon的作用:
负责管理集群内部状态:通过集群运行图(即map,如OSD Map、Monitor Map、PG Map和CRUSH Map )跟踪监控整个集群的运行状态。也就是说客户端连接到一个监视器之后就可以获取到整个集群的运行图,获取到运行图之后就可以确定所有监视器、OSD和mds元数据服务器的位置。
负责授权:Ceph客户端读写OSD或者元数据服务器之前,必须先连到一个监控器,靠当前集群运行图的副本和CRUSH算法,客户端就可以计算出任何对象的位置,因此,客户端有能力直接连到OSD。 这对Ceph的高伸缩性,高性能来说非常重要。
注意:monitor节点的个数=2n+1,必须为奇数个,一个monitor也可以,但是不建议这么做,因为有单点故障,所以最少三个起。

4、 OSD组件的概念和作用

OSD的概念:
OSD(object storage device)是负责存储文件的进程,一般配置成和磁盘一一对应,一块磁盘启动一个OSD进程。主要功能是存储数据、复制数据、平衡数据、恢复数据,以及与其它OSD间进行心跳检查,负责响应客户端请求返回具体数据的进程等;在Ceph集群中所有的文件都会以对象的形式存储到OSD中。OSD与OSD之间是可以相互通信的。
OSD的作用:
客户端在请求OSD进行I/O操作时,必须先获取集群运行图(就是各种map)。也就是说,第一次请求时必须先请求某一个mon节点获取运行图,然后再请求OSD进行I/O操作,以后的话就可以直接请求OSD进行I/O操作。

当客户端发起写入数据A的请求时,会将数据A转成对象然后分发到集群不同节点的OSD中,存储池副本数默认为3个,可以配置。


5、 mgr、 MDS、 RGW组件

mgr主要目标实现 ceph 集群的管理,为外界提供统一的入口,其实质是分担和扩展monitor的部分功能,减轻monitor的负担,让其更好地管理Ceph集群 。

MDS全称Ceph Metadata Server,是CephFS服务依赖的元数据服务。负责保存 文件系统的元数据,管理目录结构。只有需要Cephfs文件系统的时候,才需要此组件,对象存储和块设备存储不需要元数据服务。

RGW全称RADOS gateway,是Ceph对外提供的对象存储服务网关,接口与S3和Swift兼容。

6、 其他组件与概念

PG
PG英文全称Placement Group,中文称之为归置组。,可以将PG看做一个逻辑容器,这个容器包含多个对象,同时这个逻辑对象映射多个OSD上。如果没有PG,在成千上万个OSD上管理和跟踪数百万计的对象的复制和传播是相当困难的。没有PG这一层,管理海量的对象所消耗的计算资源也是不可想象的。
PG的作用:PG相当于一个虚拟组件,出于集群伸缩,性能方面的考虑。Ceph将每个存储池分为多个PG,如果存储池为副本池类型,并会给该存储池每个PG分配一个主OSD和多个从OSD,当数据量大的时候,PG将均衡的分布在集群中的每个OSD上面。
Object
存储对象,最底层的存储单元,包含元数据和原始数据。

==============================================================

更多Linux、云计算、云原生、大数据、docker、k8s知识,可访问:奇智云课堂文章来源地址https://www.toymoban.com/news/detail-734199.html

到了这里,关于分布式存储系统Ceph应用组件介绍的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包赞助服务器费用

相关文章

  • 分布式运用——存储系统Ceph

    分布式运用——存储系统Ceph

    Ceph是一个开源的分布式存储解决方案,旨在提供可扩展性、高性能和强大的数据可靠性。它采用了一种分布式对象存储架构,能够同时提供块存储和文件存储的功能。本篇博客将深入探索Ceph的原理、特性和应用场景,帮助读者更好地理解和使用这一强大的存储解决方案。

    2024年02月17日
    浏览(12)
  • 【Distributed】分布式Ceph存储系统

    【Distributed】分布式Ceph存储系统

      单机存储设备大致分为三类,分别是DAS、NAS、SAN。 1.1 DAS   DAS (直接附加存储,是直接接到计算机的主板总线上去的存储)   例如 IDE、SATA、SCSI、SAS、USB 接口的磁盘。所谓接口就是一种存储设备驱动下的磁盘设备,提供块级别的存储。 1.2 NAS   NAS (网络附在存储

    2024年02月16日
    浏览(16)
  • Ceph分布式存储系统优化分析

    Ceph分布式存储系统优化分析

            Ceph支持多种存储访问接口,现有的多种性能测试工具都可用于Ceph的性能测试,如测试块接口性能的fio,iometer等;测试CephFS接口的filebench,fio等;测试对象接口的cosbench等。Ceph有专用的基准测试集CBT,其包含radosbench,librbdfio,kvmrbdfio和rbdfio。radosbench基准测试使用

    2024年02月12日
    浏览(12)
  • 【Linux】分布式存储系统 Ceph

    【Linux】分布式存储系统 Ceph

    提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档 Ceph使用C++语言开发,是一个开放、自我修复和自我管理的开源分布式存储系统。具有高扩展性、高性能、高可靠性的优点。 Ceph目前已得到众多云计算厂商的支持并被广泛应用。RedHat及OpenStack,Kubernet

    2024年02月17日
    浏览(12)
  • 使用 Docker 部署分布式存储系统——Ceph

    使用 Docker 部署分布式存储系统——Ceph

    最近工作中接触了一个 Python + Flask 的新项目,项目中使用了 Ceph 对象存储服务。遂在开发环境使用 Docker 搭建了一套 Ceph 集群。 Ceph 官方文档 Ceph 是一个开源的分布式存储系统,提供了对象存储、块存储和文件系统三种存储接口。Ceph 将数据存储在逻辑存储池中,使用 CRUSH 分

    2024年04月15日
    浏览(12)
  • 滴滴Ceph分布式存储系统优化之锁优化

    滴滴Ceph分布式存储系统优化之锁优化

    摘自:https://mp.weixin.qq.com/s/oWujGOLLGItu1Bv5AuO0-A   2020-09-02 21:45         Ceph是国际知名的开源分布式存储系统,在工业界和学术界都有着重要的影响。Ceph的架构和算法设计发表在国际系统领域顶级会议OSDI、SOSP、SC等上。Ceph社区得到Red Hat、SUSE、Intel等大公司的大力支持。Ce

    2024年02月12日
    浏览(9)
  • Ceph分布式文件系统——文件系统MDS接口 块存储RDB接口 对象存储RGW接口

    Ceph分布式文件系统——文件系统MDS接口 块存储RDB接口 对象存储RGW接口

    服务端操作 1)在管理节点创建 mds 服务 2)查看各个节点的 mds 服务 3)创建存储池,启用 ceph 文件系统 ceph 文件系统至少需要两个 rados 池,一个用于存储数据,一个用于存储元数据。此时数据池就类似于文件系统的共享目录。 创建 cephfs,命令格式:ceph fs new FS_NAME CEPHFS_ME

    2024年02月16日
    浏览(15)
  • 云原生之深入解析分布式存储系统Ceph的环境部署和实战操作

    云原生之深入解析分布式存储系统Ceph的环境部署和实战操作

    ① 什么是 Ceph ? Ceph 是当前非常流行的开源分布式存储系统,具有高扩展性、高性能、高可靠性等优点,同时提供块存储服务(rbd)、对象存储服务(rgw)以及文件系统存储服务(cephfs),Ceph 在存储的时候充分利用存储节点的计算能力,在存储每一个数据时都会通过计算得出该数据

    2024年02月09日
    浏览(10)
  • 【分布式技术】分布式存储ceph之RBD块存储部署

    【分布式技术】分布式存储ceph之RBD块存储部署

    目录 创建 Ceph 块存储系统 RBD 接口 服务端操作 1、创建一个名为 rbd-demo 的专门用于 RBD 的存储池 2、将存储池转换为 RBD 模式 3、初始化存储池 4、创建镜像 5、在管理节点创建并授权一个用户可访问指定的 RBD 存储池 6、修改RBD镜像特性,CentOS7默认情况下只支持layering和stripin

    2024年01月18日
    浏览(18)
  • 【分布式】ceph存储

    【分布式】ceph存储

    DAS(直接附加存储,是直接接到计算机的主板总线上去的存储) IDE、SATA、SCSI、SAS、USB 接口的磁盘 所谓接口就是一种存储设备驱动下的磁盘设备,提供块级别的存储 NAS(网络附加存储,是通过网络附加到当前主机文件系统之上的存储) NFS、CIFS、FTP 文件系统级别的存储,本

    2024年02月16日
    浏览(11)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包