【Ceph】Ceph集群应用详解

这篇具有很好参考价值的文章主要介绍了【Ceph】Ceph集群应用详解。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。


接上文基于ceph-deploy部署Ceph集群详解

1. 资源池Pool管理

Pool是Ceph中存储Object对象抽象概念。我们可以将其理解为Ceph存储上划分的逻辑分区,Pool由多个PG组成;而PG通过CRUSH算法映射到不同的OSD上;同时Pool可以设置副本size大小,默认副本数量为3。

Ceph客户端向monitor请求集群的状态,并向Pool中写入数据,数据根据PGs的数量,通过CRUSH算法将其映射到不同的OSD节点上,实现数据的存储。 这里我们可以把Pool理解为存储Object数据的逻辑单元;当然,当前集群没有资源池,因此需要进行定义。

创建一个Pool资源池,其名字为mypool,PGs数量设置为64,设置PGs的同时还需要设置PGP(通常PGs和PGP的值是相同的):
PG (Placement Group),pg 是一个虚拟的概念,用于存放object,PGP(Placement Group for Placement purpose),相当于是pg存放的一种osd排列组合.

cd /etc/ceph
ceph osd pool create mypool 64 64

【Ceph】Ceph集群应用详解,运维,云计算,Linux,ceph,运维,云计算,linux

1.1 查看Pool集群信息

ceph osd pool ls    
rados lspools
ceph osd lspools

【Ceph】Ceph集群应用详解,运维,云计算,Linux,ceph,运维,云计算,linux

查看资源池副本的数量

ceph osd pool get mypool size

【Ceph】Ceph集群应用详解,运维,云计算,Linux,ceph,运维,云计算,linux

查看PG和PGP数量

ceph osd pool get mypool pg_num
ceph osd pool get mypool pgp_num

【Ceph】Ceph集群应用详解,运维,云计算,Linux,ceph,运维,云计算,linux

修改pg_num和pgp_num的数量为128

ceph osd pool set mypool pg_num 128
ceph osd pool set mypool pgp_num 128

ceph osd pool get mypool pg_num
ceph osd pool get mypool pgp_num

【Ceph】Ceph集群应用详解,运维,云计算,Linux,ceph,运维,云计算,linux

修改Pool副本数量为2

ceph osd pool set mypool size 2

ceph osd pool get mypool size

【Ceph】Ceph集群应用详解,运维,云计算,Linux,ceph,运维,云计算,linux

修改默认副本数为 2

vim /etc/ceph/ceph.conf
......
osd_pool_default_size = 2

ceph-deploy --overwrite-conf config push node01 node02 node03

【Ceph】Ceph集群应用详解,运维,云计算,Linux,ceph,运维,云计算,linux

【Ceph】Ceph集群应用详解,运维,云计算,Linux,ceph,运维,云计算,linux

1.2 删除Pool资源池

(1)删除存储池命令存在数据丢失的风险,Ceph默认禁止此类操作,需要管理员先在ceph.conf配置文件中开启支持删除存储池的操作

vim ceph.conf
......
[mon]
mon allow pool delete = true

(2)推送ceph.conf配置文件给所有mon节点

ceph-deploy --overwrite-conf config push node01 node02 node03

【Ceph】Ceph集群应用详解,运维,云计算,Linux,ceph,运维,云计算,linux

(3)所有mon节点重启ceph-mon服务

systemctl restart ceph-mon.target

【Ceph】Ceph集群应用详解,运维,云计算,Linux,ceph,运维,云计算,linux

(4)执行删除Pool命令

ceph osd pool rm mypool mypool --yes-i-really-really-mean-it     #mypool是集群中已有的资源池名称
ceph osd pool ls

【Ceph】Ceph集群应用详解,运维,云计算,Linux,ceph,运维,云计算,linux

2. OSD故障模拟与恢复

(1)模拟OSD故障

如果ceph集群有上千个osd,每天坏2~3个太正常了,我们可以模拟down掉一个osd

###如果osd守护进程正常运行,down的osd会很快自恢复正常,所以需要先关闭守护进程
ssh root@node01 systemctl stop ceph-osd@0

#down掉osd
ceph osd down 0
ceph osd tree

【Ceph】Ceph集群应用详解,运维,云计算,Linux,ceph,运维,云计算,linux

(2)将坏掉的osd踢出集群

方法一:

#将 osd.0 移出集群,集群会开始自动同步数据
ceph osd out osd.0

#将 osd.0 移除 crushmap
ceph osd crush remove osd.0

#删除守护进程对应的账户信息
ceph auth rm osd.0
ceph auth list

#删掉 osd.0
ceph osd rm osd.0

ceph osd stat
ceph -s

【Ceph】Ceph集群应用详解,运维,云计算,Linux,ceph,运维,云计算,linux

方法二:

ceph osd out osd.2

#使用综合步骤,删除配置文件中针对坏掉的 osd 的配置
ceph osd purge osd.2 --yes-i-really-mean-it

【Ceph】Ceph集群应用详解,运维,云计算,Linux,ceph,运维,云计算,linux

(3)把原来坏掉的osd修复后重新加入集群

#在osd节点中创建osd,无需指定名,会按序号自动生成
cd /etc/ceph
ceph osd create

【Ceph】Ceph集群应用详解,运维,云计算,Linux,ceph,运维,云计算,linux

创建账户

ceph-authtool --create-keyring /etc/ceph/ceph.osd.0.keyring --gen-key -n osd.0 --cap mon 'allow profile osd' --cap mgr 'allow profile osd' --cap osd 'allow *'

导入新的账户秘钥信息

ceph auth import -i /etc/ceph/ceph.osd.0.keyring
ceph auth list

【Ceph】Ceph集群应用详解,运维,云计算,Linux,ceph,运维,云计算,linux

在osd节点中,更新osd文件夹中对应的密钥环文件


ceph auth get-or-create osd.0 -o /var/lib/ceph/osd/ceph-0/keyring

【Ceph】Ceph集群应用详解,运维,云计算,Linux,ceph,运维,云计算,linux

在admin管理节点中,加入crushmap

ceph osd crush add osd.0 1.000 host=node01		#1.000 代表权重

在admin管理节点中,将新修复的osd节点加入集群

ceph osd in osd.0
ceph osd tree

在osd节点中重启osd守护进程

systemctl restart ceph-osd@0
ceph osd tree		#稍等片刻后osd状态为up	

【Ceph】Ceph集群应用详解,运维,云计算,Linux,ceph,运维,云计算,linux

如果重启失败

报错如下:

Job for ceph-osd@0.service failed because start of the service was attempted too often. See "systemctl  status ceph-osd@0.service" and "journalctl -xe" for details.
To force a start use "systemctl reset-failed ceph-osd@0.service" followed by "systemctl start ceph-osd@0.service" again.

在osd节点中运行以下命令,重启osd守护进程文章来源地址https://www.toymoban.com/news/detail-598725.html

systemctl reset-failed ceph-osd@0.service && systemctl restart ceph-osd@0.service

到了这里,关于【Ceph】Ceph集群应用详解的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包赞助服务器费用

相关文章

  • Ceph入门到精通-Linux下Ceph源码编译和GDB调试

    Ceph版本:14.2.22 Linux版本:ubuntu-server 18.04     Ceph源码是托管在Github上,由于某些原因,国内访问Github网站很慢,所以需要从其他途径加速获取源码。Github官方给出了几个Github的镜像网站: https://github.com.cnpmjs.org/ https://hub.fastgit.org/ 本地需要修改~/.gitconfig文件,才可以从上面

    2024年02月12日
    浏览(14)
  • Linux学习--Ceph部署

    前期准备 资源下载 链接: https://pan.baidu.com/s/1Yof-X-fD8kYLSmLAWFo5Ug 提取码: txj5 环境准备 在pubserver上配置ansible环境 配置名称解析 配置pubserver为NTP服务器 配置ceph1-ceph3使用pubserver提供的时间服务 准备容器仓库服务器 安装软件包,并导入镜像 安装ceph 创建集群 添加OSD硬盘 实现块存

    2024年02月11日
    浏览(7)
  • linux————ceph分布式部署

    linux————ceph分布式部署

    目录 一、概述 特点 1、统一存储 2、高扩展性 3、可靠性强 4、高性能 组件 1、Monitor 2、OSD 3、MOD 4、Objet 5、PG 6、RADOS 7. Libradio 8. CRUSH 9. RBD 10. RGW 11. CephFS 架构图 二、准备工作 三、ceph安装 创建集群目录 修改配置文件 安装 初始化monitor 同步管理信息 ​编辑 安装mgr(管理守护

    2024年02月07日
    浏览(14)
  • 【Linux】分布式存储系统 Ceph

    【Linux】分布式存储系统 Ceph

    提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档 Ceph使用C++语言开发,是一个开放、自我修复和自我管理的开源分布式存储系统。具有高扩展性、高性能、高可靠性的优点。 Ceph目前已得到众多云计算厂商的支持并被广泛应用。RedHat及OpenStack,Kubernet

    2024年02月17日
    浏览(15)
  • Ceph:关于Ceph 集群如何访问的一些笔记

    Ceph:关于Ceph 集群如何访问的一些笔记

    准备考试,整理 Ceph 相关笔记 博文内容涉及,Ceph 集群四种访问方式介绍及 Demo,Ceph 客户端支持的操作介绍 理解不足小伙伴帮忙指正 对每个人而言,真正的职责只有一个:找到自我。然后在心中坚守其一生,全心全意,永不停息。所有其它的路都是不完整的,是人的逃避方式

    2024年02月09日
    浏览(15)
  • Ceph入门到精通- Linux 磁盘管理(block 与 inode)

    Ceph入门到精通- Linux 磁盘管理(block 与 inode)

    1)  硬盘的最小存储单位:sector(扇区),每个扇区储存 512 字节;操作系统会一次性连续读取多个扇区,即一次性读取多个扇区称为一个 block(块) 2)  文件存取的最小单位:block(块),由多个扇区组成;block 的大小常见的有 1KB、2KB、4KB,在 linux 中常见设置为 4KB,即连

    2024年02月14日
    浏览(13)
  • ceph集群搭建详细教程(ceph-deploy)

    ceph-deploy比较适合生产环境,不是用cephadm搭建。相对麻烦一些,但是并不难,细节把握好就行,只是命令多一些而已。 服务器主机 public网段IP(对外服务) cluster网段IP(集群通信) 角色 deploy 192.168.2.120 用于部署集群、管理集群 ceph-node1 192.168.2.121 192.168.6.135 ceph-mon、ceph-mgr、

    2024年02月04日
    浏览(9)
  • Ceph:关于Ceph 集群中池管理的一些笔记

    Ceph:关于Ceph 集群中池管理的一些笔记

    准备考试,整理 Ceph 相关笔记 博文内容涉及, Ceph 中的 两种 pool 介绍,创建操作管理池 理解不足小伙伴帮忙指正 对每个人而言,真正的职责只有一个:找到自我。然后在心中坚守其一生,全心全意,永不停息。所有其它的路都是不完整的,是人的逃避方式,是对大众理想的

    2024年02月09日
    浏览(13)
  • OpenStack+Ceph集群 计算节点执行nova list提示ERROR (CommandError): You must provide a user name/id

    排错的时候在计算节点执行了 nova list 查看实例情况 结果提示 看来是没有配置keystone鉴权信息的原因 执行 可以打印信息了,虽然还是ERROR的…

    2024年02月11日
    浏览(11)
  • Ceph:关于Ceph 集群中数据分布和容灾理论的一些笔记

    Ceph:关于Ceph 集群中数据分布和容灾理论的一些笔记

    准备考试,整理 Ceph 相关笔记 博文内容涉及,Ceph 集群中数据如何分布以及不同的容灾池介绍 理解不足小伙伴帮忙指正 对每个人而言,真正的职责只有一个:找到自我。然后在心中坚守其一生,全心全意,永不停息。所有其它的路都是不完整的,是人的逃避方式,是对大众理

    2024年02月12日
    浏览(9)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包