一,环境准备
把两台虚拟机的ip地址设置成静态的IP地址,否则ip地址会变
虚拟机配置静态IP(NAT模式)_nat子网的准入_阿祖,收手吧的博客-CSDN博客
节点 | IP | 软件 |
云节点 | 192.168.133.139 | kubernetes+cloudcore |
边结点 | 192.168.133.136 | kubeedge(edgecore) |
边结点 | 192.168.133.137 | kubeedge(edgecore) |
映射好ssh端口(问题)
二,主节点master的配置
1,初始准备
node节点和主节点一样,要执行到kubeadm init之前
- 1、hostname配置
(配置本机主机名,我们需要设置hostname为 “k8s-master” ,与hosts 相匹配)
# 设置当前机器1的hostname
hostnamectl set-hostname k8s-master
# 查看当前机器hostname
hostname
- 2、hosts配置
vim /etc/hosts
192.168.133.139 k8s-master
192.168.133.136 kubeedge1
192.168.133.137 kubeedge2
如果不配置hostname 默认会配置为localhost.localdomain
,k8s 运行时会报错Error getting node" err="node \"localhost.localdomain\" no
t found
- 3、基础依赖包安装
# 系统时钟同步
# 向阿里云服务器同步时间
ntpdate time1.aliyun.com
# 删除本地时间并设置时区为上海
rm -rf /etc/localtime
ln -s /usr/share/zoneinfo/Asia/Shanghai /etc/localtime
# 查看时间
date -R || date
- 4、关闭防火墙、selinux
systemctl stop firewalld
systemctl disable firewalld
sed -i 's/enforcing/disabled/' /etc/selinux/config
setenforce 0
- 5、关闭swap
# 临时关闭Swap
swapoff -a
# 修改 /etc/fstab 删除或者注释掉swap的挂载,可永久关闭swap
sed -i '/swap/s/^/#/' /etc/fstab
# 修改完后我们检测以下,看最后一行swap 都是0 就成功了
free -m
- 6、网桥过滤
# 网桥过滤
vim /etc/sysctl.conf
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
net.bridge.bridge-nf-call-arptables = 1
net.ipv4.ip_forward=1
net.ipv4.ip_forward_use_pmtu = 0
# 生效命令
sysctl --system
# 查看效果
sysctl -a|grep "ip_forward"
- 7、开启ipvs
kubernetes1.8版本开始,新增了kube-proxy对ipvs的支持,性能和追踪问题比iptable强)------ 此步骤为选填项,如果不执行那么默认使用iptables
# 安装IPVS
yum -y install ipset ipvsdm
# 编译ipvs.modules文件
vi /etc/sysconfig/modules/ipvs.modules
# 文件内容如下
#!/bin/bash
modprobe -- ip_vs
modprobe -- ip_vs_rr
modprobe -- ip_vs_wrr
modprobe -- ip_vs_sh
modprobe -- nf_conntrack_ipv4
# 赋予权限并执行
chmod 755 /etc/sysconfig/modules/ipvs.modules && bash /etc/sysconfig/modules/ipvs.modules &&lsmod | grep -e ip_vs -e nf_conntrack_ipv4
# 重启电脑,检查是否生效
reboot
lsmod | grep ip_vs_rr
2,Docker安装
- docker 换源安装
-
# 安装yum utils yum install -y yum-utils # yum docker-ce config 换源 yum-config-manager \ --add-repo \ https://download.docker.com/linux/centos/docker-ce.repo # 安装docker yum -y install docker-ce docker-ce-cli containerd.io # 启动docker, enable 为必须,k8s会检测docker.service systemctl enable docker && systemctl start docker
- docker配置镜像加速
exec-opts参数配置为native.cgroupdriver=systemd,这一步很重要,下面的镜像地址参考阿里云。
# 创建docker目录
mkdir -p /etc/docker
# 设置镜像源, exec-opts必须指定否则k8s启动报错(cgroup、systemd)
tee /etc/docker/daemon.json <<-'EOF'
{
"exec-opts": ["native.cgroupdriver=systemd"],
"registry-mirrors": ["https://g6t55xi7.mirror.aliyuncs.com"]
}
EOF
# 重启docke并生效镜像加速
systemctl daemon-reload && systemctl restart docker
3, Kubernetes安装
- 配置kubernetes源
cat <<EOF > /etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64/
enabled=1
gpgcheck=1
repo_gpgcheck=1
gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF
注意:阿里源并未与官网同步gpg(由于官网未开放同步方式, 可能会有索引gpg检查失败的情况,这时请用如下命令安装)
# 检测可用的k8s版本(--nogpgcheck 忽略gpg检测)
yum list --nogpgcheck --showduplicates kubeadm --disableexcludes=kubernetes
# 找到我们想要安装的版本,并安装--------------这里我们用1.23.8版本,最新版目前是1.24.0 版本安装启用了docker 会有一些问题。
# 安装kubelet、kubeadm、kubectl 组件--- 这里要注意,docker 版本和 k8s版本有关系,尽量使用支持区间的版本
# yum install --nogpgcheck kubelet-1.23.8 kubeadm-1.23.8 kubectl-1.23.8
yum -y install --nogpgcheck kubelet-1.23.8 kubeadm-1.23.8 kubectl-1.23.8
- 安装完成后我们检查一下
# 检查kubectl version
kubectl version
# 检查kubeadm版本
kubeadm version
- 启动k8s服务
# 启动k8s服务
systemctl enable kubelet && systemctl start kubelet
# 查看服务状态
systemctl status kubelet
现在kubelet服务起不来是正常的,应该init之后就会起来
k8s master 主节点初始化(仅master节点执行– 这里考虑的是单master,多slave)
注意:这里一定要改成自己master的IP地址,并且这句话需要在master节点上执行
如果你没有改ip地址执行了一次,即使再改成正确的ip地址也会出现错误
注意:这句话只在master节点执行,node节点不要执行!!!!!否则想把node节点join到master节点时join不进去!!!!需要重新在做一遍,很麻烦
# 初始化
kubeadm init \
--image-repository registry.aliyuncs.com/google_containers \
--apiserver-advertise-address=192.168.133.139 \
--service-cidr=10.222.0.0/16 \
--pod-network-cidr=10.244.0.0/16
# 初始化过程比较长,需要下载一些资源
#这里补充以下参数说明
--apiserver-advertise-address=192.168.133.139 这个参数就是master主机的IP地址,例如我的Master主机的IP是:192.168.133.139
--image-repository=registry.aliyuncs.com/google_containers 这个是镜像地址,由于国外地址无法访问,故使用的阿里云仓库地址:registry.aliyuncs.com/google_containers
--service-cidr=10.222.0.0/16 这个参数后的IP地址直接就套用10.222.0.0/16 ,以后安装时也套用即可,不要更改
--pod-network-cidr=10.244.0.0/16 k8s内部的pod节点之间网络可以使用的IP段,不能和service-cidr写一样,如果不知道怎么配,就先用这个10.244.0.0/16
还可以指定k8s版本,用以下参数即可
--kubernetes-version=v1.23.8 这个参数是下载的k8s软件版本号
总之,只修改master主机IP,k8s软件版本)
这时候你可以另起一个标签页去查看pull下来了什么以及情况
这些都是k8s的一些重要组件
刚才init的结果会提示你接下来需要做的步骤,还需要进行一些收尾工作,根据kubeadm init log
提示,执行以下命令
mkdir -p $HOME/.kube
cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
chown $(id -u):$(id -g) $HOME/.kube/config
然后,我们就可以进行k8s的节点查询
# 查询节点
kubectl get nodes
此时, STATUS 是 NotReady
状态,因为网络组件还未安装,Pod之间还不能通讯
这时你可以查看刚才systemctl status kubelet这个命令查看kubelet的状态,服务起来了
查看各命名空间下的Pod信息
kubectl get pods --all-namespaces
可以看到NDS解析服务coredns的pod还处于Pending状态未运行,也是因为网络组件还没安装。
三、网络插件的安装
下面我们进行网络组件的安装
这里只简单说明下,推荐使用calico
flannel 和 calico 是常用的网络插件。
calico 的性能更好,使用场景更广一些。
flannel 没有网络策略,不能控制pod的访问。
这里我们用calico插件。
curl https://docs.projectcalico.org/v3.18/manifests/calico.yaml -O
kubectl apply -f calico.yaml
kubectl get nodes
安装完成, 如果有条件的话,现在就可以做一个快照了,因为后面的操作很可能会频繁出错,这里多做一些备份是好的习惯。
下面介绍一些其他常用信息。
# 查看k8s 运行日志命令, 这个比较有用,在k8s 启动、kubeadm init、kubeadm join 阶段可以辅助分析问题。
journalctl -xefu kubelet
# 查看k8s驱动
systemctl show --property=Environment kubelet |cat
# 重启k8s
systemctl restart kubelet
# 启动k8s
systemctl start kubelet
# 停止k8s
systemctl stop kubelet
# 开机自启k8s
systemctl enable kubelet
# dashboard 获取token
kubectl describe secret admin-user -n kubernetes-dashboard
# kubeadm 重置, 有些时候我们在使用kubeadm init 命令时会报错,我们根据错误提示修复问题后需要重新进行 init 操作,因此需要进行reset重置
kubeadm reset
四、安装KubeEdge
还是在k8s-master节点!!!
- 安装版本:v1.12.1
如下图所示为kubernetes和Kubeedge版本对应关系,这里安装Kubeedge v1.12.1
1 安装keadm
如果网络不好,也可采用离线安装。将以下文件下载下来,下载地址:https://github.com/kubeedge/kubeedge/releases/tag/v1.12.1
版本一定要对应,这里别整错了,都是v1.12.1
uname -a
# 下载Keadm
wget https://github.com/kubeedge/kubeedge/releases/download/v1.12.1/keadm-v1.12.1-linux-amd64.tar.gz
#解压
tar zxvf keadm-v1.12.1-linux-amd64.tar.gz
#添加执行权限
chmod +x keadm-v1.12.1-linux-amd64/keadm/keadm
#移动目录
mv keadm-v1.12.1-linux-amd64/keadm/keadm /usr/local/bin/
# 查看keadm是否安装
keadm version
#输出版本信息
version: version.Info{Major:"1", Minor:"12", GitVersion:"v1.12.1", GitCommit:"919ad5378eaca3cb0c666c22a19db01261cbc9a6", GitTreeState:"clean", BuildDate:"2022-11-02T08:22:56Z", GoVersion:"go1.17", Compiler:"gc", Platform:"linux/amd64"}
2 启动Cloudcore
运行以下命令启动cloudecode,修改下面地址为k8s-master主机地址
keadm init --advertise-address="THE-EXPOSED-IP" --profile version=v1.12.1 --kube-config=/root/.kube/config
# 查询cloudcore进程,如果查到cloudcore,表明启动成功
ps -ef | grep cloudcore
kubectl get all -n kubeedge
正确返回结果
到这里出现问题:ps -ef | grep cloudcore 执行这条语句应该返回两条,而我却返回一条,并且执行netstat -tpnl没有开放的10002和10003端口,这个是我的问题:不知道是不是node节点搭建了k8s的原因:解决方法:不应该按照网上node节点没有不是k8s的教程来做
搭建Kubeedge框架 keadm init问题 · Issue #I88Z25 · 坐下来思考/kubeedge - Gitee.com
这里停了两天,队友找了官方文档,我的输出结果和其一样,我把两个node结点也部署了k8S,加入到了master结点中去,和网上很多做法不同
keadm manifest generate
添加 --skip-crds 标志以跳过输出 CRD
keadm manifest generate --advertise-address="THE-EXPOSED-IP" --kube-config=/root/.kube/config > kubeedge-cloudcore.yaml
You can run
ps -elf | grep cloudcore
command to ensure that cloudcore is running successfully.
这个是启动成功的返回结果
出现问题:execute keadm command failed: timed out waiting for the condition
这是因为cloudcore没有污点容忍,默认master节点是不部署应用的,可以用下面的命令查看污点:
kubectl describe nodes k8s-master | grep Taints
把master的污点删掉
kubectl taint node k8s-master node-role.kubernetes.io/master-
# 然后重置
keadm reset
#再重新启动
正常执行netstat -tpnl应该出现出现10000,和10002,这两个端口算正常,而我却没有
出现10000,和10002,这两个端口算正常。
如果安装失败,可以通过以下命令重置,然后重新安装
keadm reset
执行完这个,系统会有提示,你需要重新重新init和join等操作
Setup Edge Side (KubeEdge Worker Node)
设置边缘端(KubeEdge 工作节点)
生成证书,后面会用到---在云端运行 keadm gettoken 将返回令牌,该令牌将在加入边缘节点时使用。
# 使用以下命令生成证书
keadm gettoken
# 输出
bd9827b8865d17a9a9422dedae3d0c67d17dfd9d4c8a66e2ae80f4eefc462680.eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJleHAiOjE2OTc5MzY5ODN9.xW1RM2cisE2nNCUwka1VLQgWst-2H9UgB7rpgEtKQ7Q
至此,如果不出问题的话云端节点暂时安装完成,可以再打个快照,下面安装边缘节点。
五,边缘节点安装
除了kubeadm init
操作外其他的都执行
下面我们简单说下 子节点服务器的操作流程:
# 基础依赖包安装
yum -y install wget vim net-tools ntpdate bash-completion
# 修改当前机器名
hostnamectl set-hostname k8s-slave02
# 或 hostnamectl set-hostname k8s-slave03
# 修改hosts文件
vim /etc/hosts
192.168.56.105 k8s-master01
192.168.56.106 k8s-slave02
192.168.56.107 k8s-slave03
# 系统时钟同步与时区配置
ntpdate time1.aliyun.com
rm -rf /etc/localtime
ln -s /usr/share/zoneinfo/Asia/Shanghai /etc/localtime
date -R || date
# 关闭防火墙、selinux
systemctl stop firewalld
systemctl disable firewalld
sed -i 's/enforcing/disabled/' /etc/selinux/config
setenforce 0
# 关闭swap
swapoff -a
sed -i '/swap/s/^/#/' /etc/fstab
free -m
# 网桥过滤
vim /etc/sysctl.conf
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
net.bridge.bridge-nf-call-arptables = 1
net.ipv4.ip_forward=1
net.ipv4.ip_forward_use_pmtu = 0
# 生效命令 与 查看
sysctl --system
sysctl -a|grep "ip_forward"
# docker安装
yum install -y yum-utils
yum-config-manager \
--add-repo \
https://download.docker.com/linux/centos/docker-ce.repo
yum -y install docker-ce docker-ce-cli containerd.io
systemctl enable docker && systemctl start docker
# docker 镜像加速 与 cgroup配置
mkdir -p /etc/docker
tee /etc/docker/daemon.json <<-'EOF'
{
"exec-opts": ["native.cgroupdriver=systemd"],
"registry-mirrors": ["https://fl791z1h.mirror.aliyuncs.com"]
}
EOF
systemctl daemon-reload && systemctl restart docker
# k8s安装
cat <<EOF > /etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64/
enabled=1
gpgcheck=1
repo_gpgcheck=1
gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF
yum -y install --nogpgcheck kubelet-1.23.8 kubeadm-1.23.8 kubectl-1.23.8
# 启动k8s服务
systemctl enable kubelet && systemctl start kubelet
这里发现node结点是NotReady的,我们这里要等一段时间,我还以为哪里配错了
# 在主节点上 查看所有nodes
kubectl get nodes
[root@k8s-master ~]# kubectl get node
NAME STATUS ROLES AGE VERSION
k8s-master Ready control-plane,master 41m v1.23.8
kubeedge1 Ready <none> 13m v1.23.8
kubeedge2 NotReady <none> 13m v1.23.8
# 这个时候我们看到 `node1,node2` 已经加入到 k8s集群中了,但是`STATUS`还是`NotReady`
# 此步骤比较耗时,我们多等一会,直到 `NotReady` 变为 `Ready`
[root@k8s-master ~]# kubectl get node
NAME STATUS ROLES AGE VERSION
k8s-master Ready control-plane,master 43m v1.23.8
kubeedge1 Ready <none> 15m v1.23.8
kubeedge2 Ready <none> 15m v1.23.8
# 至此,子节点加入成功
# 为了稳妥起见,我们在 master 上发现子节点 状态由 `NotReady` 变成 `Ready` 后,我们对子节点k8s 进行重启
systemctl restart kubelet
子节点上我们尝试运行 k8s命令
# 查看节点信息
kubectl get nodes
# 展示信息
The connection to the server localhost:8080 was refused - did you specify the right host or port?
我们发现:子节点无法运行kubectl命令
原因:kubectl
命令需要使用 kubernetes-admin
来运行
解决办法: 我们将master节点的 admin.conf 复制到子节点上
# master节点上操作:从master节点 复制到 子节点
scp /etc/kubernetes/admin.conf root@192.168.133.136:/etc/kubernetes/
# scp /etc/kubernetes/admin.conf root@192.168.133.137:/etc/kubernetes/
# node节点上操作:配置环境变量
echo "export KUBECONFIG=/etc/kubernetes/admin.conf" >> ~/.bash_profile
source ~/.bash_profile
# 而后我们在子节点上运行 命令
kubectl get nodes
[root@kubeedge1 ~]# kubectl get nodes
NAME STATUS ROLES AGE VERSION
k8s-master Ready control-plane,master 50m v1.23.8
kubeedge1 Ready <none> 22m v1.23.8
kubeedge2 Ready <none> 21m v1.23.8
到这里主节点和边节点连通,可见masterk8s集群加入了两个node节点,而从node节点也可以查询到。
在边缘节点安装keadm
同理,先下载安装keadm,这个步骤跟云端一样,如下:
# 下载Keadm
wget https://github.com/kubeedge/kubeedge/releases/download/v1.12.1/keadm-v1.12.1-linux-amd64.tar.gz
#解压
tar zxvf keadm-v1.12.1-linux-amd64.tar.gz
#添加执行权限
chmod +x keadm-v1.12.1-linux-amd64/keadm/keadm
#移动目录
mv keadm-v1.12.1-linux-amd64/keadm/keadm /usr/local/bin/
# 查看keadm是否安装
keadm version
#输出版本信息
version: version.Info{Major:"1", Minor:"12", GitVersion:"v1.12.1", GitCommit:"919ad5378eaca3cb0c666c22a19db01261cbc9a6", GitTreeState:"clean", BuildDate:"2022-11-02T08:22:56Z", GoVersion:"go1.17", Compiler:"gc", Platform:"linux/amd64"}
Join Edge Node
Keadm Join将安装Edgecore。它还提供了一个标志,通过该标志可以设置特定版本。它将从 dockerhub 拉取镜像 kubeedge/install-package,并将二进制 edgecore 从容器复制到 hostpath,然后启动 edgecore 作为系统服务。
keadm join --cloudcore-ipport="192.168.133.139":10000 --token=bd9827b8865d17a9a9422dedae3d0c67d17dfd9d4c8a66e2ae80f4eefc462680.eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJleHAiOjE2OTc5MzY5ODN9.xW1RM2cisE2nNCUwka1VLQgWst-2H9UgB7rpgEtKQ7Q --kubeedge-version=v1.12.1
--Cloudcore-ipport 标志是强制性标志。
如果要自动为边缘节点应用证书,则需要 --token。
云侧和边缘端使用的 kubeEdge 版本应该相同。
另起标签页发现会正在拉取镜像(docker images),返回结果----这个过程会很慢
环境我终于搭出来了----记录一下10.28 因为快考试了时间比较紧,具体流程有时间会更新,最近在搭建有问题的可以私信我一起解决
文章来源:https://www.toymoban.com/news/detail-729487.html
这是最近最开心的事了文章来源地址https://www.toymoban.com/news/detail-729487.html
到了这里,关于k8s+kubeedge+sedna安装流程的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!