【云原生】Kubeadmin安装k8s集群-Toy模板网

这篇具有很好参考价值的文章主要介绍了【云原生】Kubeadmin安装k8s集群。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

【云原生】Kubeadmin安装k8s集群,云原生,kubernetes,容器,运维,k8s,devops,docker

前言：

一环境部署

1.1 服务器部署功能

1.2 环境准备（所有节点）

二安装docker（所有节点）

三所有节点安装kubeadm，kubelet和kubectl

3.1 定义kubernetes源

3.2 开机自启kubelet

四部署K8S集群

4.1 查看初始化需要的镜像

4.2 master节点上传压缩包

4.3 复制镜像和脚本到 node 节点

4.4 初始化 kubeadm

4.5 证书生成结果

4.6 设定kubectl（Master节点）

五所有节点部署网络插件flannel

5.1 部署flannel

5.2 在master节点查看节点状态

5.3 测试 pod 资源创建

5.4 暴露端口提供服务

六部署 Dashboard

6.1 Master节点上传recommended.yaml文件

6.2 创建service account并绑定默认cluster-admin管理员集群角色

七安装Harbor私有仓库

7.1 所有节点加上主机名映射

7.2 安装 docker

8 安装 Harbor

8.1 上传并解压修改配置文件

8.2 生成证书

8.3 生成证书签名请求文件

8.4 备份私钥

8.5 清除私钥密码

8.6 签名证书

8.7 在一个node节点上登录harbor

8.9 上传镜像并测试

十内核参数优化方案

十一总结以及流程梳理

前言：

Kubeadm 是一个提供了 kubeadm init 和 kubeadm join 的工具，作为创建 Kubernetes 集群的 “快捷途径” 的最佳实践

kubeadm 通过执行必要的操作来启动和运行最小可用集群。按照设计，它只关注启动引导，而非配置机器。同样的，安装各种 “锦上添花” 的扩展，例如 Kubernetes Dashboard、监控方案、以及特定云平台的扩展，都不在讨论范围内。相反，我们希望在 kubeadm 之上构建更高级别以及更加合规的工具，理想情况下，使用 kubeadm 作为所有部署工作的基准将会更加易于创建一致性集群。

一环境部署

1.1 服务器部署功能

节点角色	IP地址	部署服务
master(2C4G)	192.168.181.100	docker,kubeadm,kubelet,kubectl ,flannel
node01 (2C2G)	192.168.181.101	docker,kubeadm,kubelet,kubectl ,flannel
node02(2C2G)	192.168.181.102	docker,kubeadm,kubelet,kubectl ,flannel
Harbor节点(hub.lbj.com)	192.168.181.103	docker,docker-Compose ,harbor-offline-v1.2.2

1.2 环境准备（所有节点）

//所有节点，关闭防火墙规则，关闭selinux，关闭swap交换
systemctl stop firewalld
systemctl disable firewalld
setenforce 0
sed -i 's/enforcing/disabled/' /etc/selinux/config
iptables -F && iptables -t nat -F && iptables -t mangle -F && iptables -X
swapoff -a						#交换分区必须要关闭
sed -ri 's/.*swap.*/#&/' /etc/fstab		#永久关闭swap分区，&符号在sed命令中代表上次匹配的结果
#加载 ip_vs 模块
for i in $(ls /usr/lib/modules/$(uname -r)/kernel/net/netfilter/ipvs|grep -o "^[^.]*");do echo $i; /sbin/modinfo -F filename $i >/dev/null 2>&1 && /sbin/modprobe $i;done

//修改主机名
hostnamectl set-hostname master01
hostnamectl set-hostname node01
hostnamectl set-hostname node02

//所有节点修改hosts文件
vim /etc/hosts
192.168.181.100 master01
192.168.181.101 node01
192.168.181.102 node02

//调整内核参数
cat > /etc/sysctl.d/kubernetes.conf << EOF
#开启网桥模式，可将网桥的流量传递给iptables链
net.bridge.bridge-nf-call-ip6tables=1
net.bridge.bridge-nf-call-iptables=1
#关闭ipv6协议
net.ipv6.conf.all.disable_ipv6=1
net.ipv4.ip_forward=1
EOF

//生效参数
sysctl --system

二安装docker（所有节点）

yum install -y yum-utils device-mapper-persistent-data lvm2 
yum-config-manager --add-repo https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo 
yum install -y docker-ce docker-ce-cli containerd.io

mkdir /etc/docker
cat > /etc/docker/daemon.json <<EOF
{
  "registry-mirrors": ["https://这里我用的是阿里云加速器"],
  "exec-opts": ["native.cgroupdriver=systemd"],
  "log-driver": "json-file",
  "log-opts": {
    "max-size": "100m"
  }
}
EOF
#使用Systemd管理的Cgroup来进行资源控制与管理，因为相对Cgroupfs而言，Systemd限制CPU、内存等资源更加简单和成熟稳定。
#日志使用json-file格式类型存储，大小为100M，保存在/var/log/containers目录下，方便ELK等日志系统收集和管理日志。

systemctl daemon-reload
systemctl restart docker.service
systemctl enable docker.service 

docker info | grep "Cgroup Driver"
Cgroup Driver: systemd

【云原生】Kubeadmin安装k8s集群,云原生,kubernetes,容器,运维,k8s,devops,docker

registry-mirrors：配置镜像加速地址

阿里云的镜像加速：控制台---->在产品与镜像服务搜索容器镜像服务----> 镜像工具------>镜像加速器

exec-opts:

使用Systemd管理的Cgroup来进行资源控制与管理，因为相对Cgroupfs而言，Systemd限制CPU、内存等资源更加简单和成熟稳定。

log-driver ; log-opts

日志使用json-file格式类型存储，大小为100M，保存在/var/log/containers目录下，方便ELK等日志系统收集和管理日志。

三所有节点安装kubeadm，kubelet和kubectl

3.1 定义kubernetes源

cat > /etc/yum.repos.d/kubernetes.repo << EOF
[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64
enabled=1
gpgcheck=0
repo_gpgcheck=0
gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF

yum install -y kubelet-1.20.11 kubeadm-1.20.11 kubectl-1.20.11

3.2 开机自启kubelet

systemctl enable kubelet.service
#K8S通过kubeadm安装出来以后都是以Pod方式存在，即底层是以容器方式运行，所以kubelet必须设置开机自启

四部署K8S集群

4.1 查看初始化需要的镜像

kubeadm config images list

4.2 master节点上传压缩包

unzip v1.20.11.zip -d /opt/k8s
cd /opt/k8s/v1.20.11
for i in $(ls *.tar); do docker load -i $i; done

4.3 复制镜像和脚本到 node 节点

scp -r /opt/k8s root@node01:/opt
scp -r /opt/k8s root@node02:/opt

#### node节点
cd /opt/k8s/v1.20.11
for i in $(ls *.tar); do docker load -i $i; done

【云原生】Kubeadmin安装k8s集群,云原生,kubernetes,容器,运维,k8s,devops,docker

4.4 初始化 kubeadm

kubeadm config print init-defaults > /opt/kubeadm-config.yaml

cd /opt/
vim kubeadm-config.yaml
......
11 localAPIEndpoint:
12   advertiseAddress: 192.168.181.100		#指定master节点的IP地址
13   bindPort: 6443
......
34 kubernetesVersion: v1.20.11				#指定kubernetes版本号
35 networking:
36   dnsDomain: cluster.local
37   podSubnet: "10.244.0.0/16"				#指定pod网段，10.244.0.0/16用于匹配flannel默认网段
38   serviceSubnet: 10.96.0.0/16			#指定service网段
39 scheduler: {}
#末尾再添加以下内容
--- 
apiVersion: kubeproxy.config.k8s.io/v1alpha1
kind: KubeProxyConfiguration
mode: ipvs									#把默认的kube-proxy调度方式改为ipvs模式

wq！
###############

kubeadm init --config=kubeadm-config.yaml --upload-certs | tee kubeadm-init.log
#--experimental-upload-certs 参数可以在后续执行加入节点时自动分发证书文件，K8S V1.16版本开始替换为 --upload-certs
#tee kubeadm-init.log 用以输出日志


//查看 kubeadm-init 日志
less kubeadm-init.log

//kubernetes配置文件目录
ls /etc/kubernetes/

//存放ca等证书和密码的目录
ls /etc/kubernetes/pki

4.5 证书生成结果

提示：
......
Your Kubernetes control-plane has initialized successfully!

To start using your cluster, you need to run the following as a regular user:

  mkdir -p $HOME/.kube
  sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
  sudo chown $(id -u):$(id -g) $HOME/.kube/config

Alternatively, if you are the root user, you can run:

  export KUBECONFIG=/etc/kubernetes/admin.conf

You should now deploy a pod network to the cluster.
Run "kubectl apply -f [podnetwork].yaml" with one of the options listed at:
  https://kubernetes.io/docs/concepts/cluster-administration/addons/

Then you can join any number of worker nodes by running the following on each as root:

kubeadm join 192.168.181.100:6443 --token wfjo7j.baa0aheyw39w3m7h \
    --discovery-token-ca-cert-hash sha256:77100ff66b20100cbd9f1c289788e43aee69c5b4e24cc2c74c2e5d634a074fdc

Token密钥必须保存好，下一步会用到

4.6 设定kubectl（Master节点）

kubectl需经由API server认证及授权后方能执行相应的管理操作，kubeadm 部署的集群为其生成了一个具有管理员权限的认证配置文件 /etc/kubernetes/admin.conf，它可由 kubectl 通过默认的 “$HOME/.kube/config” 的路径进行加载。

mkdir -p $HOME/.kube
cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
chown $(id -u):$(id -g) $HOME/.kube/config

######### 因为node节点还没加入 所以scheduler和controller-manager会显示unhealthy

如果 kubectl get cs 发现集群不健康，更改以下两个文件
vim /etc/kubernetes/manifests/kube-scheduler.yaml 
vim /etc/kubernetes/manifests/kube-controller-manager.yaml
# 修改如下内容
把--bind-address=127.0.0.1变成--bind-address=192.168.181.100		#修改成k8s的控制节点master01的ip
把httpGet:字段下的hosts由127.0.0.1变成192.168.181.100（有两处）
#- --port=0					# 搜索port=0，把这一行注释掉

systemctl restart kubelet

【云原生】Kubeadmin安装k8s集群,云原生,kubernetes,容器,运维,k8s,devops,docker

五所有节点部署网络插件flannel

5.1 部署flannel

kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml

kubectl apply -f https://github.com/flannel-io/flannel/releases/latest/download/kube-flannel.yml


//在 node 节点上执行 kubeadm join 命令加入群集
kubeadm join 192.168.181.100:6443 --token rc0kfs.a1sfe3gl4dvopck5 \
    --discovery-token-ca-cert-hash sha256:864fe553c812df2af262b406b707db68b0fd450dc08b34efb73dd5a4771d37a2
 
##########
因为Token密钥因为Token密钥失效时间是24h，如果Token失效，可以使用以下命令重新生成
###########

kubeadm token create  
####生成token密钥

openssl x509 -pubkey -in /etc/kubernetes/pki/ca.crt | openssl rsa -pubin -outform der 2>/dev/null | openssl dgst -sha256 -hex | sed 's/^.* //'
####生成openssl十六进制密钥

5.2 在master节点查看节点状态

kubectl get nodes

kubectl get pods -n kube-system

【云原生】Kubeadmin安装k8s集群,云原生,kubernetes,容器,运维,k8s,devops,docker

5.3 测试 pod 资源创建

kubectl create deployment nginx --image=nginx

【云原生】Kubeadmin安装k8s集群,云原生,kubernetes,容器,运维,k8s,devops,docker

5.4 暴露端口提供服务

kubectl expose deployment nginx --port=80 --type=NodePort

####查看service通信
kubectl get svc

####测试访问
curl http://node01:31044

【云原生】Kubeadmin安装k8s集群,云原生,kubernetes,容器,运维,k8s,devops,docker

六部署 Dashboard

6.1 Master节点上传recommended.yaml文件

cd /opt/k8s
vim recommended.yaml
#默认Dashboard只能集群内部访问，修改Service为NodePort类型，暴露到外部：
kind: Service
apiVersion: v1
metadata:
  labels:
    k8s-app: kubernetes-dashboard
  name: kubernetes-dashboard
  namespace: kubernetes-dashboard
spec:
  ports:
    - port: 443
      targetPort: 8443
      nodePort: 30001     #添加
  type: NodePort          #添加
  selector:
    k8s-app: kubernetes-dashboard
	
kubectl apply -f recommended.yaml

6.2 创建service account并绑定默认cluster-admin管理员集群角色

kubectl create serviceaccount dashboard-admin -n kube-system
kubectl create clusterrolebinding dashboard-admin --clusterrole=cluster-admin --serviceaccount=kube-system:dashboard-admin
kubectl describe secrets -n kube-system $(kubectl -n kube-system get secret | awk '/dashboard-admin/{print $1}')

#使用输出的token登录Dashboard
https://NodeIP:30001

七安装Harbor私有仓库

7.1 所有节点加上主机名映射

echo '192.168.181.103 hub.lbj.com' >> /etc/hosts

7.2 安装 docker

yum install -y yum-utils device-mapper-persistent-data lvm2 
yum-config-manager --add-repo https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo 
yum install -y docker-ce docker-ce-cli containerd.io


mkdir /etc/docker
cat > /etc/docker/daemon.json <<EOF
{
  "registry-mirrors": ["https://阿里云加速器URL"],
  "exec-opts": ["native.cgroupdriver=systemd"],
  "log-driver": "json-file",
  "log-opts": {
    "max-size": "100m"
  },
  "insecure-registries": ["https://hub.lbj.com"]
}
EOF

#####
这里算是个彩蛋吧，网址这里说一下 lbj的全称是Lebron James 本人20年老詹密 lbj一般是我的首选域名~
#####


systemctl start docker
systemctl enable docker

8 安装 Harbor

8.1 上传并解压修改配置文件

//上传 harbor-offline-installer-v1.2.2.tgz 和 docker-compose 文件到 /opt 目录
cd /opt
cp docker-compose /usr/local/bin/
chmod +x /usr/local/bin/docker-compose

tar zxvf harbor-offline-installer-v1.2.2.tgz
cd harbor/



vim harbor.cfg
5  hostname = hub.kgc.com
9  ui_url_protocol = https
24 ssl_cert = /data/cert/server.crt
25 ssl_cert_key = /data/cert/server.key
59 harbor_admin_password = Harbor12345

【云原生】Kubeadmin安装k8s集群,云原生,kubernetes,容器,运维,k8s,devops,docker

8.2 生成证书

mkdir -p /data/cert
cd /data/cert
#生成私钥
openssl genrsa -des3 -out server.key 2048
输入两遍密码：123456

8.3 生成证书签名请求文件

openssl req -new -key server.key -out server.csr
输入私钥密码：123456
输入国家名：CN
输入省名：BJ
输入市名：BJ
输入组织名：LBJ
输入机构名：LBJ
输入域名：hub.lbj.com
输入管理员邮箱：admin@lbj.com
其它跳过 直接回车（两次）

8.4 备份私钥

cp server.key server.key.org

8.5 清除私钥密码

openssl rsa -in server.key.org -out server.key
输入私钥密码：123456

8.6 签名证书

openssl x509 -req -days 1000 -in server.csr -signkey server.key -out server.crt

chmod +x /data/cert/*

cd /opt/harbor/
./install.sh

在本地使用火狐浏览器访问：https://hub.lbj.com
添加例外 -> 确认安全例外
用户名：admin
密码：Harbor12345

8.7 在一个node节点上登录harbor

docker login -u admin -p Harbor12345 https://hub.lbj.com

8.9 上传镜像并测试

//上传镜像
docker tag nginx:latest hub.kgc.com/library/nginx:v1
docker push hub.kgc.com/library/nginx:v1

//在master节点上删除之前创建的nginx资源
kubectl delete deployment nginx

kubectl create deployment nginx-deployment --image=hub.lbj.com/library/nginx:v1 --port=80 --replicas=3

kubectl expose deployment nginx-deployment --port=30000 --target-port=80

kubectl get svc,pods
NAME                       TYPE        CLUSTER-IP      EXTERNAL-IP   PORT(S)     AGE
service/kubernetes         ClusterIP   10.96.0.1       <none>        443/TCP     10m
service/nginx-deployment   ClusterIP   10.96.222.161   <none>        30000/TCP   3m15s

NAME                                    READY   STATUS    RESTARTS   AGE
pod/nginx-deployment-77bcbfbfdc-bv5bz   1/1     Running   0          16s
pod/nginx-deployment-77bcbfbfdc-fq8wr   1/1     Running   0          16s
pod/nginx-deployment-77bcbfbfdc-xrg45   1/1     Running   0          3m39s


yum install ipvsadm -y
ipvsadm -Ln

curl 10.96.222.161:30000


kubectl edit svc nginx-deployment
25   type: NodePort						#把调度策略改成NodePort

kubectl get svc
NAME                       TYPE        CLUSTER-IP      EXTERNAL-IP   PORT(S)           AGE
service/kubernetes         ClusterIP   10.96.0.1       <none>        443/TCP           29m
service/nginx-deployment   NodePort    10.96.222.161   <none>        30000:32340/TCP   22m

浏览器访问：
192.168.181.100:32340
192.168.181.101:32340
192.168.181.102:32340


#将cluster-admin角色权限授予用户system:anonymous
kubectl create clusterrolebinding cluster-system-anonymous --clusterrole=cluster-admin --user=system:anonymous

十内核参数优化方案

cat > /etc/sysctl.d/kubernetes.conf <<EOF
net.bridge.bridge-nf-call-iptables=1
net.bridge.bridge-nf-call-ip6tables=1
net.ipv4.ip_forward=1
net.ipv4.tcp_tw_recycle=0
vm.swappiness=0									#禁止使用 swap 空间，只有当系统内存不足（OOM）时才允许使用它
vm.overcommit_memory=1							#不检查物理内存是否够用
vm.panic_on_oom=0								#开启 OOM
fs.inotify.max_user_instances=8192
fs.inotify.max_user_watches=1048576
fs.file-max=52706963							#指定最大文件句柄数
fs.nr_open=52706963								#仅4.4以上版本支持
net.ipv6.conf.all.disable_ipv6=1
net.netfilter.nf_conntrack_max=2310720
EOF

十一总结以及流程梳理

1、在所有节点上安装Docker和kubeadm
2、部署Kubernetes Master
3、部署容器网络插件
4、部署 Kubernetes Node，将节点加入Kubernetes集群中
5、部署 Dashboard Web 页面，可视化查看Kubernetes资源
6、部署 Harbor 私有仓库，存放镜像资源

【云原生】Kubeadmin安装k8s集群,云原生,kubernetes,容器,运维,k8s,devops,docker