从swarm到kubernetes Docker容器云实践-Toy模板网

这篇具有很好参考价值的文章主要介绍了从swarm到kubernetes Docker容器云实践。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

kubernetes 与swarm 比较

优点

复制集与健康维护
服务自发现与负载均衡
灰度升级
垃圾回收自动回收失效镜像与容器
与容器引擎解耦不仅仅支持docker容器
用户认证与资源隔离

缺点

大而全意味着复杂度较高从部署到使用都比swarm 复杂的多相对而已swarm比较轻量级而且跟docker引擎配合的更好从精神上我是更支持swarm 奈何现在功能太欠缺几天前发布了一个 SwarmKit的管理功能功能多了不少待其完善以后可以重回swarm的怀抱

k8s 安装过程

测试环境阿里云 ubuntu 14.04

自动方式

会自动下载安装文件到各个集群并配置

直接看官方文档就行了写的很清楚

要先设置好ssh免密码登录

注意自动下载的地址都是需要翻墙的可以改一下脚本文件里的地址

http://kubernetes.io/docs/getting-started-guides/ubuntu/

Docker容器方式安装

还在研究阶段官方支持不好有很多问题容器跟平台无关方便升级以后的版本可能会更好的支持

手动方式

为了了解一下Kube的几个组件我们这里重点介绍一下手动安装的方式

安装节点

安装 NODE1 NODE2 2个不同主机节点下文命令中替换为相应ip地址

1.下载安装包 etcd-v2.3.3 flannd-v0.5.5 kubenetes-v1.2.3

解压并复制采用命令到 /usr/bin 方便操作

作用解析 etcd 为k8s提供存储功能和强一致性保证 flannd 打通容器间网络可实现容器跨主机互连

2.启动etcd

 node1 
etcd -name k8s-etcd0 -initial-advertise-peer-urls http://NODE1:2380 -listen-peer-urls http://NODE1:2380 \

-listen-client-urls http://NODE1:2379,http://127.0.0.1:2379 -advertise-client-urls http://NODE1:2379 \

-discovery https://discovery.etcd.io/8a5ff5c9ca76877c2efd7ba3c589a110 --data-dir /mnt/k8s/flanneldata 

 node2
etcd -name k8s-etcd1 -initial-advertise-peer-urls http://NODE2:2380 -listen-peer-urls http://NODE2:2380 \

-listen-client-urls http://NODE2:2379,http://127.0.0.1:2379 -advertise-client-urls http://NODE2:2379 \

-discovery https://discovery.etcd.io/8a5ff5c9ca76877c2efd7ba3c589a110   --data-dir /mnt/k8s/flanneldata

etcd 也可以用docker 容器启动更方便一点

然后设置一下打通的内网网段范围

etcdctl set /coreos.com/network/config '{ "Network": "172.17.0.0/16" }'

3.启动flannel

setsid flanneld >> /mnt/k8s/logs/flanneld.log 2>&1  

mk-docker-opts.sh -i
source /run/flannel/subnet.env
rm /var/run/docker.pid
ifconfig docker0 ${FLANNEL_SUBNET}

重启Docker

service docker restart

4.启动 k8s master

以一台主机为master 

setsid ./kube-apiserver --address=0.0.0.0  --insecure-port=8080 --service-cluster-ip-range='192.168.0.0/16'  --log_dir=/mnt/k8s/logs/kube --kubelet_port=10250 --v=0 --logtostderr=false --etcd_servers=http://NODE1:2379 --allow_privileged=false  >> /mnt/k8s/logs/kube-apiserver.log 2>&1 

setsid ./kube-controller-manager  --v=0 --logtostderr=false --log_dir=/mnt/k8s/logs/kube --master=127.0.0.1:8080 >> /mnt/k8s/logs/kube-controller-manager 2>&1 

setsid ./kube-scheduler  --master='127.0.0.1:8080' --v=0  --log_dir=/mnt/k8s/logs/kube  >> /mnt/k8s/logs/kube-scheduler.log 2>&1

5.启动 k8s 子节点

 node  1 
 setsid ./kube-proxy  --logtostderr=false --v=0 --master=http://NODE1:8080   >> /mnt/k8s/logs/kube-proxy.log 2>&1 

 setsid ./kubelet  --logtostderr=false --v=0 --allow-privileged=false  --log_dir=/mnt/k8s/logs/kube  --address=0.0.0.0  --port=10250  --hostname_override=NODE1  --api_servers=http://NODE1:8080   >> /mnt/k8s/logs/kube-kubelet.log 2>&1 &

 node 2
 setsid ./kube-proxy  --logtostderr=false --v=0 --master=http://NODE1:8080   >> /mnt/k8s/logs/kube-proxy.log 2>&1 

 setsid ./kubelet  --logtostderr=false --v=0 --allow-privileged=false  --log_dir=/mnt/k8s/logs/kube  --address=0.0.0.0  --port=10250  --hostname_override=121.40.84.254 --api_servers=http://NODE1:8080   >> /mnt/k8s/logs/kube-kubelet.log 2>&1 &

测试一下

kubectl run my-nginx --image=nginx --replicas=2 --port=800 --expose --service-overrides='{ "spec": { "type": "NodePort" } }'

kubectl get po  //查看是否正常启动

**坑 **

pause gcr.io 被墙

image pull failed for gcr.io/google_containers/pause:2.0

使用docker hub的镜像代替

docker pull kubernetes/pause docker tag kubernetes/pause gcr.io/google_containers/pause:2.0

K8s 核心概念简介

pod

k8s 中创建的最小部署单元就是pod 而容器是运行在pod里面的 pod可以运行多个容器 pod内的容器可以共享网络和存储相互访问

**replication controller **

复杂集控制器对多个pod创建相同的副本运行在不同节点一般不会创建单独的pod而是与rc配合创建 rc控制并管理pod的生命周期维护pod的健康

service

每个容器重新运行后的ip地址都不是固定的所以要有一个服务方向和负载均衡来处理 service就可以实现这个需求 service创建后可以暴露一个固定的端口与相应的pod 进行绑定

K8s 核心组件简介

apiserver

提供对外的REST API服务运行在 master节点对指令进行验证后修改etcd的存储数据

shcheduler

调度器运行在master节点通过apiserver 定时监控数据变化运行pod时通过自身调度算法选出可运行的节点

controller-manager

控制管理器运行在master节点分别几大管理器定时运行分别为 1)replication controller 管理器管理并保存所有的rc的的状态 2)service Endpoint 管理器对service 绑定的pod 进行实时更新操作对状态失败的pod进行解绑

3)Node controller 管理器定时对集群的节点健康检查与监控

4)资源配额管理器追踪集群资源使用情况

kuctrl (子节点)

管理维护当前子节点的所有容器如同步创建新容器回收镜像垃圾等

kube-proxy (子节点)

对客户端请求进行负载均衡并分配到service后端的pod 是service的具体实现保证了ip的动态变化 proxy 通过修改iptable 实现路由转发

工作流程

DNS 插件安装

使用ip地址方式不太容易记忆集群内可以使用dns绑定ip并自动更新维护

安装方式很简单调用一下脚本就可以了

cd cluster/ubuntu
KUBERNETES_PROVIDER=ubuntu ./deployAddons.sh

问题是镜像地址会被墙需要修改一下脚本镜像地址

实践一下

下面我们来实践一下写个helloworld 运行一下

步骤为编写yaml文件–》》编写自动部署jenkins脚本 –》》push git仓库自动部署

首先要部署docker-jenkins 环境还没有部署的可以参考我上篇blog -》这里

首先创建一个docker-hello-world-rc.yaml 一个rc和 pod

apiVersion: v1
kind: ReplicationController
metadata:
  name: test-rc
spec:
  replicas: 2
  selector:
    name: test
    version: VERSION
  template:
    metadata:
      labels:
        name: test
        version: VERSION
    spec:
      containers:
        - name: test
          image: IMAGE
          env:
           - name: "JAVA_OPTS"
             value: "-Duser.timezone=GMT+8"
          ports:
            - containerPort: 8080

再创建 docker-hello-world-svc.yaml 对外暴露服务

apiVersion: v1
kind: Service
metadata:
  name: test-svc
spec:
  ports:
    - port: 20000
      targetPort: 8080
      protocol: TCP
  type: NodePort
  selector:
    name: test

在编写一下jenkins 的脚本

#!/bin/bash

#build in jenkins 

REG_URL= xx 你的docker 仓库 地址
KUBE_MASTER=  xx  k8s master api service 地址

RC_FILE=$WORKSPACE/$JOB_NAME-rc.yaml
SVC_FILE=$WORKSPACE/$JOB_NAME-svc.yaml

TAG=$REG_URL/$JOB_NAME:`date +%y%m%d-%H-%M`

docker run --rm --name mvn  -v /mnt/maven:/root/.m2   \
 -v /mnt/jenkins_home/workspace/$JOB_NAME:/usr/src/mvn -w /usr/src/mvn/ \
 maven:3.3.3-jdk-8 mvn clean install -Dmaven.test.skip=true

if [ $? -eq 0 ]; then
echo "maven install succ"
else
echo "maven install fail exit"
exit 1
fi

docker build -t  $TAG  $WORKSPACE/.

docker push   $TAG

docker rmi $TAG

 function kube(){

sed -i "s%IMAGE%$TAG%g" $RC_FILE
sed -i "s%VERSION%$VERSION%g" $RC_FILE

KUBEDNS=`eval "kubectl -s $KUBE_MASTER  get svc | grep $JOB_NAME-svc | cat"`

if [ ! "$KUBEDNS" ]; then
  echo "create rc and svc "
   kubectl -s $KUBE_MASTER   create  -f $RC_FILE   
   kubectl -s $KUBE_MASTER   create  -f $SVC_FILE  
else
  echo "start rolling-update"
  #一般只更新镜像
  kubectl -s $KUBE_MASTER   rolling-update  $JOB_NAME-rc  --image=$TAG
fi

}

kube

然后新建个java maven 工程写个hello world 页面就行了

最后push 到git仓库等待以后就完事了

然后我们看看创建成功后的 service 分配的端口号

kubectl describe svc 查看分配的Nodeport

然后随便找个Node节点ip:Nodeport 就可以访问了就是怎么简单

代码地址 kube-hello-world分支