Openstack云计算(五)ceph

这篇具有很好参考价值的文章主要介绍了Openstack云计算(五)ceph。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

  • Ceph简介:

Ceph是一种为优秀的性能、可靠性和可扩展性而设计的统一的、分布式文件系统。ceph]的统一体现在可以提供文件系统、块存储和对象存储,分布式体现在可以动态扩展。在国内一些公司的云环境中,通常会采用ceph作为openstack的唯一后端存储来提高数据转发效率。

Ceph项目最早起源于Sage就读博士期间的工作(最早的成果于2004年发表) ,并随后贡献给开源社区。在经过了数年的发展之后,目前已得到众多云计算厂商的支持并被广泛应用。RedHat及OpenStack都可与Ceph整合以支持虚拟机镜像的后端存储。

官网:https://ceph.com/

官方文档:Welcome to Ceph — Ceph Documentation

  • Ceph特点:

高性能:a.摒弃了传统的集中式存储元数据寻址的方案,采用CRUSH算法,数据分布均衡,并行度高。

b.考虑了容灾域的隔离,能够实现各类负载的副本放置规则,例如跨机房、机架感知等。

c.能够支持上千个存储节点的规模,支持TB到PB级的数据。

高可用性:

  1. 副本数可以灵活控制。
  2. 支持故障域分隔,数据强一致性。
  3. 多种故障场景自动进行修复自愈。
  4. 没有单点故障,自动管理。

高可扩展性:

  1. 去中心化。
  2. 扩展灵活。
  3. 随着节点增加而线性增长。

特性丰富:

  1. 支持三种存储接口:块存储、文件存储、对象存储。
  2. 支持自定义接口,支持多种语言驱动。
  • Ceph应用场景:

Ceph可以提供对象存储、块设备存储和文件系统服务,其对象存储可以对接网盘(owncloud )应用业务等;其块设备存储可以对接(Iaas) ,当前主流的IaaS运平台软件,如: OpenStack, CloudStack、Zstack, Eucalyptus等以及kvm等。

Ceph是一个高性能、可扩容的分布式存储系统,它提供三大功能:

对象存储(RADOSGW) :提供RESTful接口,也提供多种编程语言绑定。兼容S3、 Swift ;

块存储(RDB):由RBD提供,可以直接作为磁盘挂载,内置了容灾机制;

文件系统(CephFS) :提供POSIX兼容的网络文件系统CephFS ,专注于高性能、大容量存储;

什么是块存储/对象存储/文件系统存储?

  1. 对象存储:

也就是通常意义的键值存储,其接口就是简单的GET、PUT、DEL 和其他扩展,代表主要有 Swift、S3 以及 Gluster等;

  1. 块存储:

这种接口通常以QEMU Driver或者Kernel Module的方式存在,这种接口需要实现Linux的Block Device的接口或者QEMU提供的Block Driver接口,如Sheepdog, AWS的EBS ,青云的云硬盘和阿里云的盘古系统,还有Ceph的RBD (RBD是Ceph面向块存储的接口)。在常见的存储中DAS, SAN提供的也是块存储;

  1. 文件系统存储:

通常意义是支持POSIX接口,它跟传统的文件系统如Ext4是一个类型的,但区别在于分布式存储提供了并行化的能力,如Ceph的CephFS (CephFS是Ceph面向文件存储的接口) ,但是有时候又会把GlusterFS , HDFS这种非POSIX接口的类文件存储接口归入此类。当然 NFS、NAS也是属于文件系统存储;

  • Ceph的核心组件:
  • Openstack云计算(五)ceph,openstack,云计算,ceph
  1. Monitors :监视器,维护集群状态的多种映射,同时提供认证和日志记录服务,包括有关monitor节点端到端的信息,其中包括Ceph集群ID ,监控主机名和IP以及端口。并且存储当前版本信息以及最新更改信息,通过"ceph mon dump"查看 monitor map.
  2. MDS (Metadata Server) : Ceph元数据,主要保存的是Ceph文件系统的元数据。注意: ceph的块存储和ceph对象存储都不需要MDS。
  3. OSD :即对象存储守护程序,但是它并非针对对象存储。是物理磁盘驱动器,将数据以对象的形式存储到集群中的每个节点的物理磁盘上。OSD负责存储数据、处理数据复制、恢复、回(Backfilling)、再平衡。完成存储数据的工作绝大多数是由OSD daemon进程实现。在构建Ceph OSD的时候,建议采用SSD磁盘以及xfs文件系统来格式化分区。此外OSD还对其它OSD进行心跳检测,检测结果汇报给Monitor
  4. RADOS : Reliable Autonomic Distributed Object Store. RADOS是ceph存储集群的基础。在ceph中,所有数据都以对象的形式存储,并且无论什么数据类型, RADOS对象存储都将负责保存这些对象。RADOS层可以确保数据始终保持一致。
  5. librados : librados库,为应用程度提供访问接口。同时也为块存储、对象存储、文件系统提供原生的接口。
  6. RADOSGW :网关接口,提供对象存储服务。它使用librgw和librados来实现允许应用程序与Ceph对象存储建立连接。并且提供S3和Swift兼容的RESTful API接口。
  7. RBD:块设备,它能够自动精简配置并可调整大小,而且将数据分散存储在多个OSD上。(8) CephFS : Ceph文件系统,与POSIX兼容的文件系统,基于librados封装原生接口。
  • Ceph 数据存储过程:

无论使用哪种存储方式(对象、块、文件系统),存储的数据都会被切分成Objects。Objects size大小可以由管理员调整,通常为2M或4M。每个对象都会有一个唯一的OID,由ino与ono生成,虽然这些名词看上去很复杂,其实相当简单。

ino :即是文件的File ID ,用于在全局唯一标识每一个文件

ono:则是分片的编号

比如:一个文件FileID为A,它被切成了两个对象,一个对象编号0,另一个编号1,那么这两个文件的oid则为A0与A1。

File--此处的file就是用户需要存储或者访问的文件。对于一个基于Ceph开发的对象存储应用而言,这个file也就对应于应用中的“对象”,也就是用户直接操作的“对象”。

Ojbect--此处的object是RADOS所看到的"对象"。Object与上面提到的file的区别是, object的最大size由RADOS限定(通常为2MB或4MB) ,以便实现底层存储的组织管理。因此,当上层应用向RADOS存入size很大的file时,需要将file切分成统一大小的一系列object (最后一个的大小可以不同)进行存储。为避免混淆,在本文中将尽量避免使用中文的"对象"这一名词,而直接使用file或object进行说明。

PG (Placement Group)--顾名思义,PG的用途是对object的存储进行组织和位置映射。具体而言,一个PG负责组织若干个object (可以为数千个甚至更多) ,但一个object只能被映射到一个PG中,即,PG和object之间是"一对多"映射关系。同时,一个PG会被映射到n个OSD上,而每个OSD上都会承载大量的PG,即,PG和OSD之间是"多对多"映射关系。在实践当中,n至少为2,如果用于生产环境,则至少为3,一个OSD上的PG则可达到数百个。事实上, PG数量的设置牵扯到数据分布的均匀性问题。

OSD--即object storage device ,前文已经详细介绍,此处不再展开。唯一需要说明的是, osD的数量事实上也关系到系统的数据分布均匀性,因此其数量不应太少。在实践当中,至少也应该是数十上百个的量级才有助于Ceph系统的设计发挥其应有的优势。

基于上述定义,便可以对寻址流程进行解释了。具体而言,Ceph中的寻址至少要经历以下三次映射:

  1. File -> object映射
  2. Object-> PG映射, has(oid) & mask -> pgid
  3. (3) PG-> OSD映射,CRUSH算法

CRUSH , Controlled Replication Under Scalable Hashing ,它表示数据存储的分布式选择算法, ceph的高性能/高可用就是采用这种算法实现。CRUSH算法取代了在元数据表中为每个客户端请求进行查找,它通过计算系统中数据应该被写入或读出的位置。CRUSH能够感知基础架构,能够理解基础设施各个部件之间的关系。并CRUSH保存数据的多个副本,这样即使一个故障域的几个组件都出现故障,数据依然可用。CRUSH算是使得ceph实现了自我管理和自我修复。

RADOS 分布式存储相较于传统分布式存储的优势在于:

1,将文件映射到object后,利用Cluster Map通过CRUSH计算而不是查找表方式定位文件数据存储到存储设备的具体位置。优化了传统文件到块的映射和Block MAp的管理。

  1. RADOS充分利用OSD的智能特点,将部分任务授权给OSD,最大程度地实现可扩展
  • 部署准备:
  1. 所有ceph集群节点(包括客户端)设置静态域名解析;
127.0.0.1localhost localhost.localdomain localhost4 localhost4.localdomain4

::1localhost localhost.localdomain localhost6 localhost6.localdomain6

172.16.254.163 dlp

172.16.254.64 node1

172.16.254.65 node2

172.16.254.66 node3

172.16.254.63 controller
  1. 所有集群节点(包括客户端)创建cent用户,并设置密码,后执行如下命令:
useradd cent && echo "123" | passwd --stdin cent

echo -e 'Defaults:cent Irequiretty\ncent ALL = (root) NOPASSwD:ALL' I tee /etc/sudoers.d/cephchmod 440 /etc/sudoers.d/ceph

(3)在部署节点切换为cent用户,设置无密钥登陆各节点包括客户端节点

(4)在部署节点切换为cent用户,在cent用户家目录,设置如下文件: vi~/.ssh/config# create new (define all nodesand users)

Host dlp

Hostname dlp

User cent

Host node1

Hostname node1

User cent

Host node2

Hostname node2

User cent

Host node3

Hostname node3

User cent
  1. 查看版本命令和修改权限命令
Cat /etc/redhat-release

chmod 600 ~/.ssh/config

所有节点配置国内ceph源:

  1. all-node (包括客户端)在/etc/yum.repos.d创建 ceph-yunwei.repo
[ceph-yunwei]

name=ceph-yunwei-install

baseurl=https://mirrors.aliyun.com/centos/7.6.1810/storage/x86_64/ceph-jewel/

enable=1

gpgcheck=0

或者也可以将如上内容添加到现有的 CentOS-Base.repo 中。

 

(2)到国内ceph源中https://mirrors.aliyun.com/centos/7.6.1810/storage/x86_64/ceph-jewel/下载如下所需rpm包。注意:红色框中为ceph-deploy的rpm,只需要在部署节点安装,下载需要到ceph-rpm-jewel-el7-noarch安装包下载_开源镜像站-阿里云中找到最新对应的ceph-deploy-xxxxx.noarch.rpm 下载

清理缓存

Yum clean all

加载插件

Yum makecache

3)将下载好的rpm拷贝到所有节点,并安装。注意ceph-deploy-xxxxx.noarch.rpm 只有部署节点用到,其他节点不需要,部署节点也需要安装其余的rpm

 

(4)在部署节点(cent用户下执行):安装 ceph-deploy,在root用户下,进入下载好的rpm包目录,执行:

yum localinstall -y ./*

(或者sudo yum install ceph-deploy)

创建ceph工作目录

mkdir ceph &&  cd ceph

验证是否安装成功 ceph-deploy --version

  1. 在部署节点(cent用户下执行):配置新集群
ceph-deploy new node1 node2 node3

vim /ceph.conf

添加配置内容

mon_clock_drift_allowed = 2

mon_clock_drift_warn_backoff = 3

osd_pool_default_size = 3

(7)在部署节点执行,所有节点安装ceph软件

ceph-deploy install dlp node1 node2 node3

(8)在部署节点初始化集群(cent用户下执行):

ceph-deploy mon create-initial

(12)准备Object Storage Daemon:

ceph-deploy osd prepare node1:/var/lib/ceph/osd node2:/var/lib/ceph/osd node3:/var/lib/ceph/osd

 

(13)激活Object Storage Daemon:

ceph-deploy osd activate node1:/var/lib/ceph/osd node2:/var/lib/ceph/osd node3:/var/lib/ceph/osd

 

(14)在部署节点transfer config files

ceph-deploy admin dlp node1 node2 node3

sudo chmod 644 /etc/ceph/ceph.client.admin.keyring

 

(15)在ceph集群中任意节点检测:

ceph -s

 

三、客户端设置:

(1)客户端也要有cent用户:

useradd cent && echo "123" | passwd --stdin cent

echo-e 'Defaults:cent !requiretty\ncent ALL = (root) NOPASSWD:ALL' | tee /etc/sudoers.d/ceph

chmod440 /etc/sudoers.d/ceph

 

在部署节点执行,安装ceph客户端及设置:

ceph-deploy install controller

ceph-deploy admin controller

 

(2)客户端执行

sudo chmod 644 /etc/ceph/ceph.client.admin.keyring

 

(3)客户端执行,块设备rdb配置:

创建rbd:rbd create disk01 --size 10G --image-feature layering    
删除:rbd rm disk01列示rbd:rbd ls -l映射rbd的image map:sudo rbd map disk01      
取消映射:sudo rbd unmap disk01
显示map:rbd showmapped
格式化disk01
文件系统xfs:sudo mkfs.xfs /dev/rbd0
挂载硬盘:sudo mount /dev/rbd0 /mnt
验证是否挂着成功:df -hT

 

(4)File System配置:

在部署节点执行,选择一个node来创建MDS:

ceph-deploy mds create node1

 

以下操作在node1上执行:

sudo chmod 644 /etc/ceph/ceph.client.admin.keyring

 

在MDS节点node1上创建 cephfs_data 和  cephfs_metadata 的 pool

ceph osd pool create cephfs_data 128
ceph osd pool create cephfs_metadata 128

 

开启pool:

ceph fs new cephfs cephfs_metadata cephfs_data

 

显示ceph fs:

ceph fs lsceph mds stat

 

以下操作在客户端执行,安装ceph-fuse:

yum -y install ceph-fuse

 

获取admin key:

sshcent@node1"sudo ceph-authtool -p /etc/ceph/ceph.client.admin.keyring" > admin.key

chmod600 admin.key

 

挂载ceph-fs:

mount-t ceph node1:6789:/ /mnt -o name=admin,secretfile=admin.key
df-hT

 

停止ceph-mds服务:

systemctl stop ceph-mds@node1
ceph mds fail 0
ceph fs rm cephfs --yes-i-really-mean-it  
ceph osd lspools
显示结果:0 rbd,1 cephfs_data,2 cephfs_metadata,  
ceph osd pool rm cephfs_metadata cephfs_metadata --yes-i-really-really-mean-it

  文章来源地址https://www.toymoban.com/news/detail-819334.html

四、删除环境:

ceph-deploy purge dlp node1 node2 node3 controller

ceph-deploy purgedata dlp node1 node2 node3 controller

ceph-deploy forgetkeys

rm -rf ceph*

到了这里,关于Openstack云计算(五)ceph的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 【云计算OpenStack-OpenStack Queens版本】基于OpenStack的云计算环境搭建

    OpenStack云计算环境的搭建是基于虚拟机的多节点Linux网络环境基础上搭建起来的,所以需要我们先搭建好集群环境。(基础环境搭建参考:基于虚拟机的多节点Linux网络环境搭建) 操作系统:CentOS7 controller节点IP:192.168.43.199 compute节点IP:192.168.43.74 neutron节点IP:192.168.43.180 说

    2024年02月04日
    浏览(47)
  • 云计算|OpenStack|社区版OpenStack安装部署文档(二---OpenStack运行环境搭建)

    一个良好的运行环境对于任何一个部署工作来说都是必须的,俗话说 万事开头难,其实很多部署工作失败的原因在于初始环境没有正确的配置,因此,按照官网的部署文档并结合自己的实际情况,配置一个合理的OpenStack运行环境是十分有必要的。 OpenStack的运行环境配置文档

    2023年04月08日
    浏览(49)
  • 云计算|OpenStack|社区版OpenStack安装部署文档(十二--- openstack的网络模型解析---Rocky版)

    https://zskjohn.blog.csdn.net/article/details/128846360   云计算|OpenStack|社区版OpenStack安装部署文档(六 --- 网络服务neutron的安装部署---Rocky版) (######注:以上文章使用的是openstack的provider网络,也称之为提供者网络,对此网络的扩展selfservice,称之为自服务网络,这个文章没有涉及)

    2024年02月06日
    浏览(41)
  • 云计算|OpenStack|社区版OpenStack安装部署文档(五 --- 计算服务nova安装部署---Rocky版)

    nova服务是openstack最重要的一个组件,没有之一,该组件是云计算的计算核心,大体组件如下: OpenStack Docs: Compute service overview 挑些重点,nova-api,libvirt,nova-placement-api,nova-api-metadata,nova-compute 并且nova安装部署是分为controller节点和computer节点了,controller节点就一个,comput

    2024年02月02日
    浏览(50)
  • 云计算|OpenStack|社区版OpenStack---基本概念科普(kvm的驱动类别和安装)

    云计算里基本都是基于kvm技术作为底层支撑,但,该技术是比较复杂的,首先,需要硬件的 支撑,表现在物理机上,就是需要在BIOS中调整设置虚拟化功能,这个虚拟机功能通常是interVT或者AMD-V,而在VM虚拟机里,也同样如此,只是是虚拟机的CPU属性需要指定:   那么,如果

    2024年02月20日
    浏览(46)
  • openstack云计算(二)——使用Packstack安装器安装一体化OpenStack云平台

    初步掌握OpenStack快捷安装的方法。掌握OpenStack图形界面的基本操作。 (1)准备一台能够安装OpenStack的实验用计算机,建议使用VMware虚拟机。 (2)该计算机应安装CentOS 7,建议采用CentOS 7.8版本。 (3)禁用防火墙与SELinux。 (4)停用NetworkManager服务。 (5)设置网卡。 (6)设

    2024年04月15日
    浏览(45)
  • 云计算|OpenStack|社区版OpenStack(实务操作---cloud-init的使用)

    接上一篇文章: https://zskjohn.blog.csdn.net/article/details/128931042 我们可以从官方获取到现成的镜像,例如,从 Ubuntu 18.04 LTS (Bionic Beaver) Daily Build [20230210] 官方下载的bionic-server-cloudimg-amd64.img 这样的文件(注意,注意,注意,openstack的架构是哪个,镜像也需要一致,本例中openstac

    2024年02月02日
    浏览(51)
  • openstack云计算(一)————openstack安装教程,创建空白虚拟机,虚拟机的环境准备

    需要注意的步骤会截图一下,其它的基本都是下一步,默认的即可 ----------------------------------------------------------- (1)、在安装CentOS 7的启动界面中,选择“Install CentOS 7”并回车(点击控制台界面后,按键才会生效,但是鼠标会消失,此时可以按Ctrl+Alt键可以让鼠标重新出现)

    2024年04月09日
    浏览(43)
  • 云计算之OpenStack基础

    计算节点:虚拟机实例的网络: 1)下图中A就是虚拟机VM1的虚拟网卡,和它相连的B是一个tap设备,通常是以tap开头的一段名称,它挂载在Linux Bridge qbr上面。 tap 设备其实就是一个Linux内核虚拟化出来的一个网络接口,即虚拟网卡; 计算节点:集成网桥(br-int)的网络: 1)集成

    2024年02月06日
    浏览(41)
  • 云计算OpenStack详解

    1、管理租户、用户和角色 租户(project)是OpenStack项目中的一个组织单元,用户(user)可以同时属于一个或多个租户,角色(role)定义了用户可以执行的操作类型。作为具有权限的管理员,可以管理所有的租户、用户和角色。 OpenStack 项目中的各个服务组件可以执行的操作可

    2024年02月02日
    浏览(39)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包