Openstack云计算(六)Openstack环境对接ceph

这篇具有很好参考价值的文章主要介绍了Openstack云计算(六)Openstack环境对接ceph。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

一、实施步骤:

(1)客户端也要有cent用户:

useradd cent && echo "123" | passwd --stdin cent
echo -e 'Defaults:cent !requiretty\ncent ALL = (root) NOPASSWD:ALL' | tee /etc/sudoers.d/ceph
chmod 440 /etc/sudoers.d/ceph

 

(2)openstack要用ceph的节点(比如compute-node和storage-node)安装下载的软件包:

yum localinstall ./* -y

 

或则:每个节点安装 clients(要访问ceph集群的节点):

yum install python-rbdyum 
install ceph-common
如果先采用上面的方式安装客户端,其实这两个包在rpm包中早已经安装过了

 

(3)部署节点上执行,为openstack节点安装ceph:

ceph-deploy install controller

ceph-deploy admin controller

 

(4)客户端执行

sudo chmod 644 /etc/ceph/ceph.client.admin.keyring

1

(5)create pools,只需在一个ceph节点上操作即可:

ceph osd pool create images 1024
ceph osd pool create vms 1024
ceph osd pool create volumes 1024

 

 

显示pool的状态

ceph osd lspools

 

(6)在ceph集群中,创建glance和cinder用户, 只需在一个ceph节点上操作即可:

ceph auth get-or-create client.glance mon 'allow r' osd 'allow class-read object_prefix rbd_children, allow rwx pool=images'

ceph auth get-or-create client.cinder mon 'allow r' osd 'allow class-read object_prefix rbd_children, allow rwx pool=volumes, allow rwx pool=vms, allow rx pool=images'

nova使用cinder用户,就不单独创建了

 

(7)拷贝ceph-ring, 只需在一个ceph节点上操作即可:

1

2

ceph auth get-or-create client.glance > /etc/ceph/ceph.client.glance.keyring

ceph auth get-or-create client.cinder > /etc/ceph/ceph.client.cinder.keyring

使用scp拷贝到其他节点(ceph集群节点和openstack的要用ceph的节点比如compute-node和storage-node,本次对接的是一个all-in-one的环境,所以copy到controller节点即可 )

1

2

3

4

[root@yunwei ceph]# ls

ceph.client.admin.keyring  ceph.client.cinder.keyring  ceph.client.glance.keyring  ceph.conf  rbdmap  tmpR3uL7W

[root@yunwei ceph]#

[root@yunwei ceph]# scp ceph.client.glance.keyring ceph.client.cinder.keyring controller:/etc/ceph/

(8)更改文件的权限(所有客户端节点均执行)

1

2

chown glance:glance /etc/ceph/ceph.client.glance.keyring

chown cinder:cinder /etc/ceph/ceph.client.cinder.keyring

(9)更改libvirt权限(只需在nova-compute节点上操作即可,每个计算节点都做)

uuidgen

940f0485-e206-4b49-b878-dcd0cb9c70a4

在/etc/ceph/目录下(在什么目录没有影响,放到/etc/ceph目录方便管理):

cat > secret.xml <<EOF

<secret ephemeral='no' private='no'>

<uuid>940f0485-e206-4b49-b878-dcd0cb9c70a4</uuid>

<usage type='ceph'>

 <name>client.cinder secret</name>

</usage>

</secret>

EOF

将 secret.xml 拷贝到所有compute节点,并执行::

virsh secret-define --file secret.xml

ceph auth get-key client.cinder > ./client.cinder.key

virsh secret-set-value --secret 940f0485-e206-4b49-b878-dcd0cb9c70a4 --base64 $(cat ./client.cinder.key)

配置Glance, 在所有的controller节点上做如下更改:

vim /etc/glance/glance-api.conf

[DEFAULT]

default_store = rbd

[cors]

[cors.subdomain]

[database]

connection = mysql+pymysql://glance:GLANCE_DBPASS@controller/glance

[glance_store]

stores = rbd

default_store = rbd

rbd_store_pool = images

rbd_store_user = glance

rbd_store_ceph_conf = /etc/ceph/ceph.conf

rbd_store_chunk_size = 8

[image_format]

[keystone_authtoken]

auth_uri = http://controller:5000

auth_url = http://controller:35357

memcached_servers = controller:11211

auth_type = password

project_domain_name = default

user_domain_name = default

project_name = service

username = glance

password = glance

[matchmaker_redis]

[oslo_concurrency]

[oslo_messaging_amqp]

[oslo_messaging_kafka]

[oslo_messaging_notifications]

[oslo_messaging_rabbit]

[oslo_messaging_zmq]

[oslo_middleware]

[oslo_policy]

[paste_deploy]

flavor = keystone

[profiler]

[store_type_location_strategy]

[task]

[taskflow_executor]

在所有的controller节点上做如下更改

1

2

systemctl restart openstack-glance-api.service

systemctl status openstack-glance-api.service

创建image验证:

1

2

3

4

5

[root@controller ~]# openstack image create "cirros"   --file cirros-0.3.3-x86_64-disk.img.img   --disk-format qcow2 --container-format bare --public

  

[root@controller ~]# rbd ls images

9ce5055e-4217-44b4-a237-e7b577a20dac

**********有输出镜像说明成功了

(8)配置 Cinder:

vim /etc/cinder/cinder.conf

[DEFAULT]

my_ip = 172.16.254.63

glance_api_servers = http://controller:9292

auth_strategy = keystone

enabled_backends = ceph

state_path = /var/lib/cinder

transport_url = rabbit://openstack:admin@controller

[backend]

[barbican]

[brcd_fabric_example]

[cisco_fabric_example]

[coordination]

[cors]

[cors.subdomain]

[database]

connection = mysql+pymysql://cinder:CINDER_DBPASS@controller/cinder

[fc-zone-manager]

[healthcheck]

[key_manager]

[keystone_authtoken]

auth_uri = http://controller:5000

auth_url = http://controller:35357

memcached_servers = controller:11211

auth_type = password

project_domain_name = default

user_domain_name = default

project_name = service

username = cinder

password = cinder

[matchmaker_redis]

[oslo_concurrency]

lock_path = /var/lib/cinder/tmp

[oslo_messaging_amqp]

[oslo_messaging_kafka]

[oslo_messaging_notifications]

[oslo_messaging_rabbit]

[oslo_messaging_zmq]

[oslo_middleware]

[oslo_policy]

[oslo_reports]

[oslo_versionedobjects]

[profiler]

[ssl]

[ceph]

volume_driver = cinder.volume.drivers.rbd.RBDDriver

rbd_pool = volumes

rbd_ceph_conf = /etc/ceph/ceph.conf

rbd_flatten_volume_from_snapshot = false

rbd_max_clone_depth = 5

rbd_store_chunk_size = 4

rados_connect_timeout = -1

glance_api_version = 2

rbd_user = cinder

rbd_secret_uuid = 940f0485-e206-4b49-b878-dcd0cb9c70a4

volume_backend_name=ceph

重启cinder服务:

1

2

systemctl restart openstack-cinder-api.service openstack-cinder-scheduler.service openstack-cinder-volume.service

systemctl status openstack-cinder-api.service openstack-cinder-scheduler.service openstack-cinder-volume.service

 创建volume验证:

1

2

[root@controller gfs]# rbd ls volumes

volume-43b7c31d-a773-4604-8e4a-9ed78ec18996

 (9)配置Nova:

vim /etc/nova/nova.conf

[DEFAULT]

my_ip=172.16.254.63

use_neutron = True

firewall_driver = nova.virt.firewall.NoopFirewallDriver

enabled_apis=osapi_compute,metadata

transport_url = rabbit://openstack:admin@controller

[api]

auth_strategy = keystone

[api_database]

connection = mysql+pymysql://nova:NOVA_DBPASS@controller/nova_api

[barbican]

[cache]

[cells]

[cinder]

os_region_name = RegionOne

[cloudpipe]

[conductor]

[console]

[consoleauth]

[cors]

[cors.subdomain]

[crypto]

[database]

connection = mysql+pymysql://nova:NOVA_DBPASS@controller/nova

[ephemeral_storage_encryption]

[filter_scheduler]

[glance]

api_servers = http://controller:9292

[guestfs]

[healthcheck]

[hyperv]

[image_file_url]

[ironic]

[key_manager]

[keystone_authtoken]

auth_uri = http://controller:5000

auth_url = http://controller:35357

memcached_servers = controller:11211

auth_type = password

project_domain_name = default

user_domain_name = default

project_name = service

username = nova

password = nova

[libvirt]

virt_type=qemu

images_type = rbd

images_rbd_pool = vms

images_rbd_ceph_conf = /etc/ceph/ceph.conf

rbd_user = cinder

rbd_secret_uuid = 940f0485-e206-4b49-b878-dcd0cb9c70a4

[matchmaker_redis]

[metrics]

[mks]

[neutron]

url = http://controller:9696

auth_url = http://controller:35357

auth_type = password

project_domain_name = default

user_domain_name = default

region_name = RegionOne

project_name = service

username = neutron

password = neutron

service_metadata_proxy = true

metadata_proxy_shared_secret = METADATA_SECRET

[notifications]

[osapi_v21]

[oslo_concurrency]

lock_path=/var/lib/nova/tmp

[oslo_messaging_amqp]

[oslo_messaging_kafka]

[oslo_messaging_notifications]

[oslo_messaging_rabbit]

[oslo_messaging_zmq]

[oslo_middleware]

[oslo_policy]

[pci]

[placement]

os_region_name = RegionOne

auth_type = password

auth_url = http://controller:35357/v3

project_name = service

project_domain_name = Default

username = placement

password = placement

user_domain_name = Default

[quota]

[rdp]

[remote_debug]

[scheduler]

[serial_console]

[service_user]

[spice]

[ssl]

[trusted_computing]

[upgrade_levels]

[vendordata_dynamic_auth]

[vmware]

[vnc]

enabled=true

vncserver_listen=$my_ip

vncserver_proxyclient_address=$my_ip

novncproxy_base_url = http://172.16.254.63:6080/vnc_auto.html

[workarounds]

[wsgi]

[xenserver]

[xvp]

重启nova服务:

1

2

systemctl restart openstack-nova-api.service openstack-nova-consoleauth.service openstack-nova-scheduler.service  openstack-nova-compute.service openstack-nova-cert.service

systemctl status openstack-nova-api.service openstack-nova-consoleauth.service openstack-nova-scheduler.service  openstack-no

ceph常用命令

1、查看ceph集群配置信息

1

ceph daemon /var/run/ceph/ceph-mon.$(hostname -s).asok config show

2、在部署节点修改了ceph.conf文件,将新配置推送至全部的ceph节点

1

ceph-deploy  --overwrite-conf config push dlp node1 node2 node3

3、检查仲裁状态,查看mon添加是否成功

1

ceph quorum_status --format json-pretty

4、列式pool列表

1

ceph osd lspools

5、列示pool详细信息

1

ceph osd dump |grep pool

6、检查pool的副本数

1

ceph osd dump|grep -i size

7、创建pool

1

ceph osd pool create pooltest 128

8、删除pool

1

2

ceph osd pool delete data

ceph osd pool delete data data  --yes-i-really-really-mean-it

9、设置pool副本数

1

2

ceph osd pool get data size

ceph osd pool set data size 3

10、设置pool配额

1

2

ceph osd pool set-quota data max_objects 100                              #最大100个对象

ceph osd pool set-quota data max_bytes $((10 * 1024 * 1024 * 1024))       #容量大小最大为10G

11、重命名pool

1

ceph osd pool rename data date

12、PG, Placement Groups。CRUSH先将数据分解成一组对象,然后根据对象名称、复制级别和系统中的PG数等信息执行散列操作,再将结果生成PG ID。可以将PG看做一个逻辑容器,这个容器包含多个对 象,同时这个逻辑对象映射之多个OSD上。如果没有PG,在成千上万个OSD上管理和跟踪数百万计的对象的复制和传播是相当困难的。没有PG这一层,管理海量的对象所消耗的计算资源也是不可想象的。建议每个OSD上配置50~100个PG。

      PGP是为了实现定位而设置的PG,它的值应该和PG的总数(即pg_num)保持一致。对于Ceph的一个pool而言,如果增加pg_num,还应该调整pgp_num为同样的值,这样集群才可以开始再平衡。

      参数pg_num定义了PG的数量,PG映射至OSD。当任意pool的PG数增加时,PG依然保持和源OSD的映射。直至目前,Ceph还未开始再平衡。此时,增加pgp_num的值,PG才开始从源OSD迁移至其他的OSD,正式开始再平衡。PGP,Placement Groups of Placement。

计算PG数:

Openstack云计算(六)Openstack环境对接ceph,openstack,云计算,ceph

ceph集群中的PG总数

1

PG总数 = (OSD总数 * 100) / 最大副本数        ** 结果必须舍入到最接近的2的N次方幂的值

ceph集群中每个pool中的PG总数

1

存储池PG总数 = (OSD总数 * 100 / 最大副本数) / 池数

获取现有的PG数和PGP数值

1

2

ceph osd pool get data pg_num

ceph osd pool get data pgp_num

13、修改存储池的PG和PGP

1

2

ceph osd pool set data pg_num = 1

ceph osd pool set data pgp_num = 1文章来源地址https://www.toymoban.com/news/detail-829441.html

到了这里,关于Openstack云计算(六)Openstack环境对接ceph的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • OpenStack+Ceph集群 计算节点执行nova list提示ERROR (CommandError): You must provide a user name/id

    排错的时候在计算节点执行了 nova list 查看实例情况 结果提示 看来是没有配置keystone鉴权信息的原因 执行 可以打印信息了,虽然还是ERROR的…

    2024年02月11日
    浏览(43)
  • openstack云计算(一)————openstack安装教程,创建空白虚拟机,虚拟机的环境准备

    需要注意的步骤会截图一下,其它的基本都是下一步,默认的即可 ----------------------------------------------------------- (1)、在安装CentOS 7的启动界面中,选择“Install CentOS 7”并回车(点击控制台界面后,按键才会生效,但是鼠标会消失,此时可以按Ctrl+Alt键可以让鼠标重新出现)

    2024年04月09日
    浏览(42)
  • 云计算技能大赛 -- openstack私有云环境 第一部分

    原文博客地址 注: 文章中所用()中的内容皆为提示,如(controller AND compute)表示 此命令在两台节点都需要执行。 使用 VM 虚拟机进行实验。 主机名 IP地址 controller 内网(仅主机模式):192.168.20.10/24、外网(Nat模式):192.168.10.10/24 compute 内网(仅主机模式):192.168.20.20/24、外网(Nat模式

    2024年01月22日
    浏览(52)
  • Openstack组件glance对接swift

    2、glance对接swift (1)可直接在数据库中查看镜像存放的位置、状态、id等信息 (2)修改glance-api的配置文件,实现对接swift存储(配置文件在/etc/glance/glance-api.conf,建议先拷贝一份) 14 default_store=swift //把默认存储的file修改为swift 478 stores=glance.store.swift.Store, //把file system修改

    2024年01月22日
    浏览(35)
  • 云计算(五)—— OpenStack基础环境配置与API使用,使用cURL命令获取实例列表,理解OpenStack的身份认证和API请求流程。使用openstack命令创建Fedora虚拟机实例

    使用cURL命令获取实例列表 理解OpenStack的身份认证和API请求流程。 (1)复习OpenStack的认证与API请求流程的相关内容。 (2)熟悉cURL命令基本用法。 参照任务二中任务实现进行操作。 若demo用户已修改密码,则需要先把/root/keystonerc_demo文件中的password修改为你修改的密码 。 (

    2024年04月26日
    浏览(96)
  • OpenStack+Ceph集群 清理pool池 解决 pgs: xxx% pgs unknown的问题

    昨天没有清空pool直接删除osd节点,导致今天ceph挂掉了… 执行 显示 可以看到: pgs: 100.000% pgs unknown 数据异常 执行 显示 存储池分配的空间都是0 说明osd节点挂掉了 查看一下osd节点情况 可以看到node1和node2都不存在osd了,变成了外网IP的computer和controller上 可能是因为crush map设置

    2023年04月10日
    浏览(49)
  • 华为HCIE学习之Openstack Cinder组件(cinder对接glusterfs)

    服务内各组件交互通过MQ进行 IET,Linux用软件做存储,CNA识别过去就是IET TGT,物理存储,CNA识别过去就是TGT cinder-api :cinder模块对外唯一接口,cinder的endpoint,接收和处理rest请求。 cinder-scheduler : 根据预定的调度过滤策略以及权重计算策略,选择出合适的后端来处理任务。

    2024年02月13日
    浏览(33)
  • 云计算|OpenStack|社区版OpenStack安装部署文档(十二--- openstack的网络模型解析---Rocky版)

    https://zskjohn.blog.csdn.net/article/details/128846360   云计算|OpenStack|社区版OpenStack安装部署文档(六 --- 网络服务neutron的安装部署---Rocky版) (######注:以上文章使用的是openstack的provider网络,也称之为提供者网络,对此网络的扩展selfservice,称之为自服务网络,这个文章没有涉及)

    2024年02月06日
    浏览(40)
  • 云计算|OpenStack|社区版OpenStack安装部署文档(五 --- 计算服务nova安装部署---Rocky版)

    nova服务是openstack最重要的一个组件,没有之一,该组件是云计算的计算核心,大体组件如下: OpenStack Docs: Compute service overview 挑些重点,nova-api,libvirt,nova-placement-api,nova-api-metadata,nova-compute 并且nova安装部署是分为controller节点和computer节点了,controller节点就一个,comput

    2024年02月02日
    浏览(49)
  • 配置OpenStack准备环境

    1. 配置yum源 在另外两个节点上也先删除不需要的yum源 然后用scp命令从controller节点上直接复制openstack-aliyun.repo到另外两个节点 然后在三个节点上更新一下yum 接下来安装Openstack客户端(在所有需要使用Openstack客户端的节点上安装) 接下来安装selinux管理工具 接下来配置数据库

    2024年02月11日
    浏览(41)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包