1. Toy模板网首页
  2. > Toy博客

使用rancher的rke2部署高可用的k8s集群

7月前 作者：大数据动物园 分类：Toy博客 阅读(66) 违法举报

这篇具有很好参考价值的文章主要介绍了使用rancher的rke2部署高可用的k8s集群。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

目录

1、linux环境初始化及内核调优

（1）设置主机名、关闭防火墙、配置集群ip映射、关闭selinux

（2）禁用linux的透明大页、标准大页

（3）禁用swap分区

（4）配置集群时间同步，同步阿里云服务器时间

（5）linux内核参数调优

（6）配置ipvs

2、rke2安装k8s

（1）主节点安装执行

（2）从节点安装执行

（3）以上安装完成后在主节点1执行（一台主节点）

（4）主节点1配置启动完成后，在其他主节点执行以下命令进行配置

（5）以上主节点都启动后，接下来在所有从节点的进行以下配置

3、集群kubectl命令行工具优化

4、rke2集群升级问题

        Kubernetes在1.20版之后已经废弃了Docker，而是使用Containerd作为容器运行时。

        k8s在1.20之后的版本可以使用rke2来辅助部署。单纯使用rke2部署k8s的好处是可以把k8s集群和rancher解耦合。使rancher只负责管理k8s，即使rancher出问题也不影响k8s本身。

1、linux环境初始化及内核调优

注意：在rke2中master节点一定是etcd节点，保证etcd节点的选举有效，master节点一定要是奇数，本文准备3个节点实现k8s的高可用。

以下是每台节点都需要执行的：

（1）设置主机名、关闭防火墙、配置集群ip映射、关闭selinux

#设置主机名
hostnamectl set-hostname bd-rke1.xxxx.com
#设计集群ip映射
vi /etc/hosts

#关闭防火墙
systemctl stop firewalld
systemctl disable firewalld
systemctl disable iptables
systemctl stop iptables

#关闭selinux
getenforce
setenforce 0
sed -i 's/SELINUX=enforcing/SELINUX=disabled/g' /etc/selinux/config
getenforce

（2）禁用linux的透明大页、标准大页

在 Linux 中大页分为两种：Huge pages ( 标准大页 ) 和 Transparent Huge pages( 透明大页 ) 。内存是以块即页的方式进行管理的，当前大部分系统默认的页大小为 4096 bytes 即 4K。1MB 内存等于 256 页；1GB 内存等于 256000 页。

echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled

echo 'echo never > /sys/kernel/mm/transparent_hugepage/defrag'  >> /etc/rc.local
echo 'echo never > /sys/kernel/mm/transparent_hugepage/enabled'  >> /etc/rc.local

（3）禁用swap分区

echo 0 > /proc/sys/vm/swappiness
echo 'echo 0 > /proc/sys/vm/swappiness' >> /etc/rc.local

swapoff -a
#修改 /etc/fstab文件，注释掉 SWAP 的自动挂载
vi /etc/fstab

cat <<-EOF >> /etc/sysctl.conf
vm.swappiness=0
EOF
sysctl -p 
free -h

chmod +x /etc/rc.d/rc.local

（4）配置集群时间同步，同步阿里云服务器时间

yum install -y ntp
date
#修改配置文件：
vim /etc/ntp.conf
#注销默认Server
#server 0.rhel.pool.ntp.org iburst
#server 1.rhel.pool.ntp.org iburst
#server 2.rhel.pool.ntp.org iburst
#server 3.rhel.pool.ntp.org iburst
#添加：
server  ntp1.aliyun.com prefer    #阿里云的服务器时间

#保存退出

#启动ntp
systemctl start ntpd
#设置开启启动
systemctl enable ntpd
systemctl status ntpd

（5）linux内核参数调优

#加载网桥过滤模块
modprobe br_netfilter
#查看是否成功
lsmod | grep br_netfilter
#添加网桥过滤和地址转发功能
cat <<- EOF > /etc/sysctl.d/k8s.conf
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
net.ipv4.ip_forward = 1
# 下面的内核参数可以解决ipvs模式下长连接空闲超时的问题
net.ipv4.tcp_keepalive_intvl = 30
net.ipv4.tcp_keepalive_probes = 10
net.ipv4.tcp_keepalive_time = 600
EOF
#重新加载配置
sysctl -p
sysctl -p /etc/sysctl.d/k8s.conf

（6）配置ipvs

yum install ipset ipvsadm

#需要加载模块写入脚本文件
cat <<EOF > /etc/sysconfig/modules/ipvs.modules
#!/bin/bash
modprobe -- ip_vs
modprobe -- ip_vs_rr
modprobe -- ip_vs_wrr
modprobe -- ip_vs_sh
modprobe -- nf_conntrack_ipv4
modprobe -- br_netfilter
EOF
chmod +x /etc/sysconfig/modules/ipvs.modules
/bin/bash /etc/sysconfig/modules/ipvs.modules
lsmod |grep -e ip_vs -e nf_conntrack_ipv4

lsmod | grep br_netfilter

以下仅需要主节点执行：

安装rke2时，需要查看NetworkManager，保证它不会干扰rke2，保证cali*和flannel*的网卡不被NetworkManager管理

#安装rke2时,查看NetworkManager,保证它不会干扰rke2
systemctl is-active NetworkManager
cat <<EOF > /etc/NetworkManager/conf.d/rke2-canal.conf
[keyfile]
unmanaged-devices=interface-name:cali*;interface-name:flannel*
EOF
#cali*和flannel*的网卡不被NetworkManager管理
systemctl daemon-reload
systemctl restart NetworkManager

2、rke2安装k8s

（1）主节点安装执行

 rke2版本目录https://github.com/rancher/rke2/releases

#安装默认最新版本的rke2
curl -sfL https://get.rke2.io|sh -

#安装指定版本的rke2，这里vx.y.z为rke2版本号
curl -sfL https://get.rke2.io | INSTALL_RKE2_VERSION=vx.y.z sh -

（2）从节点安装执行

#安装默认最新版本
curl -sfL https://get.rke2.io | INSTALL_RKE2_TYPE="agent" sh -

#指定版本执行以下命令
curl -sfL https://get.rke2.io | INSTALL_RKE2_TYPE="agent" INSTALL_RKE2_VERSION=vx.y.z sh -

（3）以上安装完成后在主节点1执行（一台主节点）

systemctl start rke2-server
systemctl enable rke2-server

#查看第一次启动后生成的文件
ll /var/lib/rancher/rke2/
ll /var/lib/rancher/rke2/bin/
ll /etc/rancher/rke2/

这里的rke2.yaml 相当于admin.conf 谁拥有该文件就有rke2集群控制权

#查看node节点和pod启动情况
export KUBECONFIG=/etc/rancher/rke2/rke2.yaml
/var/lib/rancher/rke2/bin/kubectl get node
/var/lib/rancher/rke2/bin/kubectl get pod -A

在主节点1执行上述命令，等待集群启动完成后，接着在该节点执行以下命令进行集群配置

#查看集群的唯一token
cat /var/lib/rancher/rke2/server/node-token

 复制上述token，vim /etc/rancher/rke2/config.yaml 编辑这个文件

#/var/lib/rancher/rke2/server/node-token文件里面的token复制到这里
token: K102b4dfc868f2a36291d73365bb24aedc831efb7777bec9a9182fb1f62b2ebbc9d::server:ccfb808c305500b889ca2cd4c481b53c
tls-san:
    - xxxx.com    
node-name: "bd-kb-prd01.xxxx.com"    #配置这台节点的名字，和主机名一样

#给主节点打上污点标记，使主节点不执行pod的任务，如果只想从节点执行工作任务，主节点不执行，取消这个注释。
#node-taint:                         
#    - "CriticalAddonsOnly=true:NoExecute"

#打上master标记
node-label:
    - "node=Master"                
    - "bd-kb-prd01.xxxx.com=Master"

#设置阿里云镜像地址，加速下载
system-default-registry: "registry.cn-hangzhou.aliyuncs.com" 

#设置etcd快照策略
etcd-snapshot-retention: 2            
etcd-snapshot-schedule-cron: '*/5 * * * *'

# 自定义垃圾回收机制，添加到所所节点 
kubelet-arg:
    - "eviction-hard=nodefs.available<1%,memory.available<10Mi"
    - "eviction-soft-grace-period=nodefs.available=30s,imagefs.available=30s"
    - "eviction-soft=nodefs.available<5%,imagefs.available<1%"

重新加载配置并重启rke2

systemctl daemon-reload
systemctl restart rke2-server

#检查启动情况
/var/lib/rancher/rke2/bin/kubectl get node
/var/lib/rancher/rke2/bin/kubectl get pod -A

（4）主节点1配置启动完成后，在其他主节点执行以下命令进行配置

把主节点1的 /etc/rancher/rke2/config.yaml 文件复制其他主节点

并在其他每一个主节点上进行修改，主要把节点名修改成当前节点主机名

vim /etc/rancher/rke2/config.yaml

#这里 bd-kb-prd01.xxxx.com 为主节点1的主机名
server: https://bd-kb-prd01.xxxx.com:9345
token: K102b4dfc868f2a36291d73365bb24aedc831efb7777bec9a9182fb1f62b2ebbc9d::server:ccfb808c305500b889ca2cd4c481b53c
tls-san:
    - xxxx.com
node-name: "bd-kb-prd03.xxxx.com"
#node-taint:
#    - "CriticalAddonsOnly=true:NoExecute"
node-label:
    - "node=Master"
    - "bd-kb-prd03.xxxx.com=Master"

#设置阿里云镜像地址，加速下载
system-default-registry: "registry.cn-hangzhou.aliyuncs.com" 

#设置etcd快照策略
etcd-snapshot-retention: 2            
etcd-snapshot-schedule-cron: '*/5 * * * *'

# 自定义垃圾回收机制，添加到所所节点 
kubelet-arg:
    - "eviction-hard=nodefs.available<1%,memory.available<10Mi"
    - "eviction-soft-grace-period=nodefs.available=30s,imagefs.available=30s"
    - "eviction-soft=nodefs.available<5%,imagefs.available<1%"

加载配置并启动rke2

systemctl daemon-reload
systemctl start rke2-server
systemctl enable rke2-server

等待启动完成，可以切换到主节点1查看其他主节点时候加入集群。

#等待，切换到master1查看状态
systemctl status rke2-server -l
export KUBECONFIG=/etc/rancher/rke2/rke2.yaml
/var/lib/rancher/rke2/bin/kubectl get node
/var/lib/rancher/rke2/bin/kubectl get pod -A

（5）以上主节点都启动后，接下来在所有从节点的进行以下配置

把主节点1的 /etc/rancher/rke2/config.yaml 文件复制所有从节点

并在其他每一个从节点上进行修改，主要把从点名修改成当前节点主机名

vim /etc/rancher/rke2/config.yaml

#这里 bd-kb-prd01.xxxx.com 为主节点1的主机名
server: https://bd-rke0.xxxx.com:9345
token: K1095be49da65ea82a388d41720e83b3f68ac8a97cda987d3648939e8c01e252560::server:5e59442937d36c8f06c0b482d967d24e

#这里只需要配置节点名，一般是主机名
node-name: "bd-rke2.xxxx.com"

#给节点打上work的标记
node-label:
    - "node=Worker"
    - "bd-rke2.xxxx.com=Worker"

#配置阿里云镜像仓库，加速镜像下载
system-default-registry: "registry.cn-hangzhou.aliyuncs.com"

#从节点不需要配置etcd快照策略

# 自定义垃圾回收机制，添加到所所节点 
kubelet-arg:
    - "eviction-hard=nodefs.available<1%,memory.available<10Mi"
    - "eviction-soft-grace-period=nodefs.available=30s,imagefs.available=30s"
    - "eviction-soft=nodefs.available<5%,imagefs.available<1%"

加载配置并启动rke2工作节点

systemctl daemon-reload
systemctl start rke2-agent
systemctl enable rke2-agent

等待启动完成，可以切换到主节点1查看从节点点时候加入集群的状态。

#等待，切换到master1查看状态
systemctl status rke2-server -l
export KUBECONFIG=/etc/rancher/rke2/rke2.yaml
/var/lib/rancher/rke2/bin/kubectl get node
/var/lib/rancher/rke2/bin/kubectl get pod -A

附命令查看本机的containeded启动情况

/var/lib/rancher/rke2/bin/crictl --runtime-endpoint=unix:///run/k3s/containerd/containerd.sock ps

3、集群kubectl命令行工具优化

#设置后使用/var/lib/rancher/rke2/bin/kubectl get node等命令
#就不用export KUBECONFIG=/etc/rancher/rke2/rke2.yaml
mkdir ~/.kube
ln -s /etc/rancher/rke2/rke2.yaml ~/.kube/config
chmod 600 ~/.kube/config

#设置后使用/var/lib/rancher/rke2/bin/crictl --runtime-endpoint=unix:///run/k3s/containerd/containerd.sock ps
#不需要--runtime-endpoint=unix://


ln -s /var/lib/rancher/rke2/agent/etc/crictl.yaml /etc/crictl.yaml

#path设置
vi /etc/profile
export PATH=$PATH:/var/lib/rancher/rke2/bin
source /etc/profile

现在就可以直接在该节点上执行kubectl get node命令进行操作了。 文章来源地址https://www.toymoban.com/news/detail-410171.html

4、rke2集群升级问题

########################### rke2升级问题 ############################
# server 升级 再执行
curl -sfL https://get.rke2.io | sh -
# worker 升级
curl -sfL https://get.rke2.io | INSTALL_RKE2_TYPE="agent" sh -
#server指定版本升级
curl -sfL https://get.rke2.io | INSTALL_RKE2_VERSION=vx.y.z sh -
# worker 指定版升级
https://get.rke2.io | INSTALL_RKE2_TYPE="agent"   INSTALL_RKE2_VERSION=vx.y.z sh -

到了这里，关于使用rancher的rke2部署高可用的k8s集群的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处： 如若内容造成侵权/违法违规/事实不符，请点击违法举报进行投诉反馈，一经查实，立即删除！

分享到：
领支付宝红包 赞助服务器费用

相关文章

  • 使用rancher rke快速安装k8s集群

    使用rancher rke快速安装k8s集群

    Rancher Kubernetes Engine（RKE）是一个用于部署、管理和运行Kubernetes集群的开源工具。旨在简化Kubernetes集群的部署和操作。 RKE具有以下特点和功能： 简化的部署过程 RKE提供了一个简单的命令行界面，使您可以轻松地部署一个完整的Kubernetes集群。您只需提供少量的配置信息，RK

    2024年02月05日
    浏览(32)
  • k8s~RKE的方式升级Rancher集群

    k8s~RKE的方式升级Rancher集群

    在主机或者远程访问的笔记本上安装kubectl命令行工具 通过RKE创建kubernetes集群，需要预先设置rancher-cluster.yml配置文件，通过这个配置文件安装kubernetes集群，同时可以指定kubernetes的版本。 RKE安装kubernetes集群后，会在RKE二进制文件相同目录下生成kube_config_rancher-cluster.yml文件，

    2024年02月08日
    浏览(34)
  • k8s集群中部署rancher v2.7高可用集群

    k8s集群中部署rancher v2.7高可用集群

    一，什么是 Rancher？  官网地址： 什么是 Rancher？ | Rancher Manager Rancher 是一个 Kubernetes 管理工具，让你能在任何地方和任何提供商上部署和运行集群。 Rancher 可以创建来自 Kubernetes 托管服务提供商的集群，创建节点并安装 Kubernetes，或者导入在任何地方运行的现有 Kubernetes 集群

    2024年02月07日
    浏览(27)
  • RKE快速搭建离线k8s集群并用rancher管理界面

    RKE快速搭建离线k8s集群并用rancher管理界面

    转载说明：如果您喜欢这篇文章并打算转载它，请私信作者取得授权。感谢您喜爱本文，请文明转载，谢谢。 本文记录使用RKE快速搭建一套k8s集群过程，使用的rancher老版本2.5.7（当前最新版为2.7）。适用于初学测试、测试环境及定制化要求不高的生产环境。 关联文章： 1.

    2024年01月24日
    浏览(42)
  • 使用 RKE 方式搭建 K8s 集群并部署 NebulaGraph

    使用 RKE 方式搭建 K8s 集群并部署 NebulaGraph

    本文由社区用户 Albert 贡献，首发于 NebulaGraph 论坛，旨在提供多一种的部署方式使用 NebulaGraph。 在本文，我将会详细地记录下我用 K8s 部署分布式图数据库 NebulaGraph 的过程。下面是本次实践的内容规划： 一到十章节为 K8s 集群搭建过程； 十一到十五章节为参考 NebulaGraph 官方

    2024年02月14日
    浏览(28)

  • rke2安装单节点k8s

    Linux version 3.10.0-957.21.3.el7.x86_64 (mockbuild@kbuilder.bsys.centos.org) (gcc version 4.8.5 20150623 (Red Hat 4.8.5-36) (GCC) ) #1 SMP Tue Jun 18 16:35:19 UTC 2019 root@10.101.1.30 ~$ cat /etc/redhat-release CentOS Linux release 7.5.1804 (Core) CentOS Linux release 7.5.1804 (Core) 显示running表示启动成功,如下: ● rke2-server.service - Rancher

    2024年02月12日
    浏览(34)
  • 使用docker部署rancher并导入k8s集群

    使用docker部署rancher并导入k8s集群

    前言：鉴于我已经部署了k8s集群，那就在部署rancher一台用于管理k8s，这是一台单独的虚拟环境，之前在k8s的master节点上进行部署并未成功，有可能端口冲突了，这个问题我并没有深究，如果非要通过修改端口等操作部署上去后续可能带来的问题我处理不了，也很浪费时间，所

    2024年02月09日
    浏览(32)

  • Rancher部署k8s集群

    Rancher是一个开源的企业级容器管理平台。通过Rancher，企业再也不必自己使用一系列的开源软件去从头搭建容器服务平台。Rancher提供了在生产环境中使用的管理Docker和Kubernetes的全栈化容器部署与管理平台。 首先所有节点部署docker 安装docker依赖 yum install wget expect vim net-tools

    2024年02月11日
    浏览(33)
  • rancher2.6部署k8s集群示例

    rancher2.6部署k8s集群示例

    博客主页：https://tomcat.blog.csdn.net 博主昵称：农民工老王 主要领域：Java、Linux、K8S 期待大家的关注💖点赞👍收藏⭐留言💬 rancher 2.6已经发布一段时间，与2.5还是有不少变动，而且目前只有英语文档。为了方便大家顺利使用，在此演示下rancher2.6部署k8s集群。 本文是 如何通过

    2023年04月11日
    浏览(24)
  • 【K8S】Rancher的安装&使用Rancher搭建K8S集群&Rancher的使用

    【K8S】Rancher的安装&使用Rancher搭建K8S集群&Rancher的使用

    rancher官方文档 Rancher 是一个 Kubernetes 管理工具，让你能在任何地方和任何提供商上部署和运行集群。 Rancher 可以创建来自 Kubernetes 托管服务提供商的集群，创建节点并安装 Kubernetes，或者导入在任何地方运行的现有 Kubernetes 集群。 Rancher 基于 Kubernetes 添加了新的功能，包括统

    2024年02月02日
    浏览(35)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包，优惠每天领

二维码1

领取红包

二维码2

领红包