一、什么是CI/CD
- CI(Continuous integration,中文意思是持续集成)是一种软件开发时间。持续集成强调开发人员提交了 新代码之后,立刻进行构建、(单元)测试。根据测试结果,我们可以确定新代码和原有代码能否正确 地集成在一起。
- CD(Continuous Delivery, 中文意思持续交付)是在持续集成的基础上,将集成后的代码部署到更贴近 真实运行环境(类生产环境)中。比如,我们完成单元测试后,可以把代码部署到连接数据库的Staging环 境中更多的测试。如果代码没有问题,可以继续手动部署到生产环境。
二、Gitlab内置持续集成
持续集成(CI)
- 集成团队中每个开发人员提交的代码到代码存储库中。
- 开发人员在merge或者pull请求中合并拉去新的代码。
- 在提交或者合并更改到代码库之前,会触发了构建,测试和新代码验证的管道。
- CI 可帮助您在开发周期的早期发现并减少错误。
CI(Continuous integration,中文意思是持续集成)是一种软件开发时间。持续集成强调开发人员提交了
新代码之后,立刻进行构建、(单元)测试。根据测试结果,我们可以确定新代码和原有代码能否正确
地集成在一起。
持续交付(CD)
- 可通过结构化的部署管道确保将经过CI验证的代码交付给您的应用程序。
- CD可以将经过验证的代码更快地移至您的应用程序。
CD(Continuous Delivery, 中文意思持续交付)是在持续集成的基础上,将集成后的代码部署到更贴近真实运行环境(类生产环境)中。比如,我们完成单元测试后,可以把代码部署到连接数据库的Staging环境中更多的测试。如果代码没有问题,可以继续手动部署到生产环境。
CI/CD一起可以加快团队为客户和利益相关者交互成果的速度。CI 和 CD必须无缝协作,以使您的团队快速有效的进行构建,并且对于确保完全优化的开发实践至关重要。
根据持续集成的设计,代码从提交到生产,整个过程有以下几步:提交
流程的第一论,是开发者向代码仓库提交代码。所有后面的步骤都始于本地代码的一次提交(commit)测试(第一轮)
代码仓库对commit操作配置了钩子(hook),只要提交代码或者合并进主干,就会跑自动化测试.构建
通过第一轮测试,代码就可以合并进主干。就算可以交付了。
交付后,就先进行构建(build),再进入第二轮测试。所谓构建,指的是将源码转换为可以运行的实际代码,比如安装依赖,配置各种资源〔样式表、JS脚本、图片)等等。测试(第二轮)
构建完成,就要进行第二轮测试。如果第一轮已经涵盖了所有测试内容,第二轮可以省略,当然,这时构建步骤也要移到第一轮测试前面。部署
过了第二轮测试,当前代码就是一个可以直接部署的版本(artifact)。将这个版本的所有文件打包(tarfilename.tar*]存档,发到生产服务器。回滚
一旦当前版本发生问题,就要回滚到上一个版本的构建结果。最简单的做法就是修改一下符号链接,指向上一个版本的目录。
2.1 Gitlab的CI/CD优势
- 开源:ci/cd是开源gitlab社区版和专有gitlab企业版的一部分。
- 易于学习:具有详细的入门文档。
- 无缝集成:gitlab的ci/cd是gitlab的一部分,支持从计划到部署,具有出色的用户体验。
- 可扩展:测试可以在单独的计算机上分布式运行,可以根据需要添加任意数量的计算机。
- 更快的结果:每个构建可以拆分为多个作业,这些作业可以在多台计算机上并行运行。
- 针对交付进行了优化:多个阶段、手动部署、环境和变量。
2.2 Gitlab的CI/CD特点
- 多平台:UNIX,WINDOWS,macOS和任何其他支持GO的平台上执行构建。
- 多语言:构建脚本是命令行驱动的,并且可以与java、php、ruby、c和其他语言一起使用。
- 稳定构建:构建在gitlab不同的机器上运行。
- 并行构建:gitlab CI/CD在多台机器上拆分构建,以实现快速执行。‘
- 实时日志记录:合并请求中的链接将您带到动态更新的当前构建日志。
- 灵活的管道:您可以在每个阶段定义多个并行作业,并且可以触发其他构建。
- 版本管道:一个.gitlab-ci.yml文件包含您的测试,整个过程的步骤,是每个人都能贡献更改,并确保每个分支获得所需的管道。
- 自动缩放:您可以自动缩放构建机器,以确保立即处理您的构建并降低成本。
- 构建工件:您可以将二进制文件和其他构建工件上载到gitlab并浏览和下载它们。
- docker支持:可以使用自定义docker镜像,作为测试的一部分启动服务,构建新的dockers镜像,甚至可以在k8s上运行。
- 容器注册表:内置的容器注册表,用于存储,共享和使用容器镜像。
- 受保护的变量:子啊部署期间使用受每个环境保护的变量安全地存储和使用机密。
- 环境:定义多个环境。
2.3 Gitlab的CI/CD组件
-
Gitlab CI/CD
- Gitlab的一部分,Gitlab是一个web应用程序,具有将其状态存储在数据库中的API。
- 除了Gitlab的所有功能之外,它还管理项目、构建并提供一个不错的用户界面。
-
Gitbal Runner
- 是一个处理构建的应用程序。
- 它可以单独部署,并通过API 与 Gitlab CI/CD 一起使用。
-
.gitlab-ci.yml文件
-
为了运行测试,至少需要一个Gitlab实例和一个Gitlab Runner。
三、gitlab CI/CD工作原理
- 将代码托管到git存储库中;
- 在项目根创建ci文件 .gitlab-ci.yml,在文件中指定构建,测试和部署脚本;
- gitlab将检测到它并使用名为gitlab runner的工具运行脚本;
- 脚本被分组为作业,它们共同组成了一个管道。
四、Jenkins安装与部署
4.1 Jenkins的简介
Jenkins是一个广泛用于持续集成的可视化web自动化工具
,Jenkins可以很友好的支持各种语言的项目构建,也可以完全兼容ant maven、gradle等多种第三方构建工具,同时跟svn git能无缝集成,也支持直接与知名源代码托管网站,比如 github、bitbucket直接集成,而且插件众多,在这么多年的"技术积累之后,在国内大部分公司都有使用Jenkins。
Jenkins是一个开源软件项目,是基于Java开发的一种持续集成工具。主要做的事情就是从git中拉取代码,根据配置信息打包
;把打好的包传输到目标服务器,并可以执行一些shell脚本,使项目打包发布一键完成。
官网:https://www.jenkins.io/
4.2 Jenkins的特征:
- 开源的ava语言开发持续集成工具,支持持续集成,持续部署。
- 易于安装部署配置:可通过yum安装,或下载war包以及通过docker容器等快速实现安装部署,可方便web界面配置管理。
- 消息通知及测试报告:集成RSS/E-mail通过RSS发布构建结果或当构建完成时通过e-mail通知,生成JUnit/TestNG测试报告。
- 分布式构建:支持Jenkins能够让多台计算机一起构建/测试。
- 文件识别:Jenkins能够跟踪哪次构建生成哪些jar,哪次构建使用哪个版本的jar等。
- 丰富的插件支持:支持扩展插件,你可以开发适合自己团队使用的工具,如git,svn,maven,docker等。
4.3 Jenkins安装和持续集成环境配置
使用三台服务器:一台Gitlab仓库服务器、一台Jenkins服务器(JDK、Git、Maven)、一台Tomcat测试服务器。
- 首先,开发人员每天进行代码提交,提交到Git仓库
- 然后,Jenkins作为持续集成工具,使用Git工具到Git仓库拉取代码到集成服务器,再配合JDK、Maven等软件完成代码编译,代码测试与审查,测试,打包等工作,在这个过程中每一步出错,都重新再执行一次整个流程。
- 最后,Jenkins把生成的jar或war包分发到测试服务器或者生产服务器,测试人员或用户就可以访问应用。
4.3.1Gitlab服务部署
4.3.1.1 Gitlab介绍
官网:https://about.gitlab.com/
GitLab是一个用于仓库管理系统的开源项目,使用Git作为代码管理工具,并在此基础上搭建起来的web服务。
4.3.1.2 Gitlab与Github区别
GitLab和GitHub一样属于第三方基于Git开发的作品,免费且开源(基于MIT协议),与Github类似,可以注册用户,任意提交你的代码,添加SSHKey等等。不同的是,GitLab是可以部署到自己的服务器上,数据库等一切信息都掌握在自己手上,适合团队内部协作开发。
Github服务器在别人手上,所有的代码需要上传到别人的服务器上。Gitlab可以看作是一个个人版的Github.
4.3.1.3 Gitlab安装
1.安装相关依赖
yum -y install policycoreutils openssh-server openssh-clients postfix
2.启动ssh服务&设置为开机启动
systemctl enable sshd && systemctl start sshd
3.设置postfix开机自启,并启动,postfix支持gitlab发信功能
systemctl enable postfix && systemctl start postfix
4.开放ssh以及http服务,然后重新加载防火墙列表
firewall-cmd --add-service=ssh --permanent
firewall-cmd --add-service=http --permanent
firewall-cmd --reload
如果关闭防火墙就不需要做以上配置
关闭防火墙和增强机制
systemctl stop firewalld.service
systemctl disable firewalld.service
setenforce 0
#使用命令行模式在线下载
wget --no-check-certificate https://mirrors.tuna.tsinghua.edu.cn/gitlabce/yum/el7/gitlab-ce-12.10.14-ce.0.el7.x86_64.rpm
#--no-check-certificate 不进行证书验证
rpm -ivh gitlab-ce-12.4.2-ce.0.el6.x86_64.rpm
widows下载安装包:https://mirrors.tuna.tsinghua.edu.cn/gitlab-ce/yum/el7/gitlab-ce-12.10.14-ce.0.
el7.x86_64.rpm
4.3.1.4修改gitlab配置
vim /etc/gitlab/gitlab.rb
external_url 'http://xxxxxxx' #29行,ip地址:端口;外部访问的地址
nginx['listen_port'] = 82 #1197默认注释。修改为82端口
unicorn['worker_processes'] = 2 #736行,设置gitlab占用内存大小
重载配置及启动gitlab
gitlab-ctl reconfigure #重新加载配置
gitlab-ctl restart #重启服务
#开机自启
systemctl enable gitlab-runsvdir.service
试着用IP 直接访问 IP:82 10.148.158.4:82
修改管理员密码后,即可登录
4.3.1.5 Gitlab用户管理
4.3.1.5.1 创建用户组
权限等级分三种:
- Private 私有的,只有你自己或者组内的成员能访问
- Internal 所有登录的用户
- Public 公开的,所有人都可以访问
4.3.1.5.2 创建项目
代码上传
git config --global user.name "root" #全局声明
git clone http://10.148.158.4:root/web-test.git #将项目克隆到服务器
输入密码:12345678
cd web-test #切换目录
git add . #将代码上传到工作区
git commit -m "Initial commit" #提交代码申明
git push -u origin master #将代码推送到Gitlab
4.3.1.5.3 用户创建
如图所示:
点击创建,在生成用户的右侧点击创建密码
点下下面的保存你修改,save change!
4.3.1.5.4 添加用户到组
如图所示:
Gitlab用户在组里面有5种不同权限:
Guest:可以创建issue、发表评论,不能读写版本库
Reporter:可以克隆代码,不能提交,QA、PM可以赋予这个权限
Developer:可以克隆代码、开发、提交、push,普通开发可以赋予这个权限
Maintainer:可以创建项目、添加tag、保护分支、添加项目成员、编辑项目,核心开发可以赋予这个权限
Owner:可以设置项目访问权限·Visibility Level、删除项目、迁移项目、管理组成员,开发组组长可以赋予这个权限
五、Jenkins服务部署
5.1 Jenkins安装
官网:https://www.jenkins.io/
新版的Jenkins需要安装JDK11的JAVA环境,所以我们首先要配置JDK
下载完之后拖到opt目录下
#安装JDK11
rpm -ivh jdk-11.0.15.1_linux-x64_bin.rpm
#安装Jenkins
rpm -ivh jenkins-2.332.3-1.1.noarch.rpm
5.1.1 修改Jenkins配置文件
vim /etc/sysconfig/jenkins
JENKINS_PORT="8080" #修改默认端口,根据所需修改
systemctl start jenkins.service
在浏览器访问IP:端口【记得这里要把防火墙给关闭!】
在浏览器访问,选择自行选择插件安装
第一次进入后,会让创建一个管理员账户与密码
5.1.2 Jenkins添加汉化插件
Jenkins->Manage Jenkins->Manage Plugins,点击Available,搜索Chinese、Locale插件
在Manage Jenkins–>Configure System中设置如下
解决插件安装完,中文简体部分不翻译在Locale中,将语言设置为en_US,重启,再设置为zh_CN;注:zh_TW为中文繁体
【因为版本问题可能会导致部分英文无法被识别】
5.1.3 用户权限管理
5.1.3.1 安装插件
Role-based Authorization Strategy:主要用于用户权限管理
添加完后可以再管理界面看到如下功能选项
点击进入
Glabal rales (全局角色):管理员等高级用户可以创建基于全局的角色
Project roles(项目角色)︰针对菜个或者某些项目的角色
Node rales(节点角色)︰节点相关的权限
5.1.3.2 添加角色
我们添加以下三个角色:
TEST: 该角色为全局角色。这个角色需要绑定Dverall下面的Read权限,是为了给所有用户绑定最基本的jenkins访问权限。
注意:如果不给后续用户绑定这个角色,会报错误:用户名is missing the Overall/Read permission
test1:该角色为项目角色。使用正则表达式绑定zzh.*,意思是只能操作zzh开头的项目。
test2:该角色也为项目角色。绑定wxd.*,意思是只能操作wxd开头的项目。
5.1.3.3 创建用户
路径:系统管理–>管理用户–>新建用户
新建两个用户001与002
5.1.3.4 切换账户
5.1.3.5 权限分配
系统管理–>Manage and Assign Roles–>Assign Rples
5.1.3.6 项目创建
在首页新建任务中,创建两个自由风格项目
切换账户进行访问
5.1.4 Jenkins凭证管理
凭据可以用来存储需要密文保护的数据库密码、Gitlab密码信息、Docker私有仓库密码等,以便Jenkins可以和这些第三方的应用进行交互。
5.1.4.1 安装Credentials Binding插件
安装完插件后在系统管理,多了两个功能菜单
路径:系统管理–>Manage Credentials
Username with password:用户名和密码 比如使用Gitlab拉取代码
SSH Username with private key:使用SSH用户和密钥 SSH免密登录
Secret file:需要保密的文本文件,使用时Jenkins会将文件复制到一个临时目录中,再将文件路径设置到
一个变量中,等构建结束后,所复制的Secret file就会被删除。
Secret text:需要偃存的一个加密的文本串,如钉钉机器人或Github的api token
Certificate:通过上传证书文件的方式
常用的凭证类型有: Username with password(用户密码)和SSH Username with private key (SSH密
钥)
接下来以使用Git工具到Gitlab拉取项目源码为例,演示Jenkins的如何管理Gitlab的凭证。
5.1.4.2 安装Git插件和Git工具
为了让Jenkins支持从Gitlab拉取源码,需要安装Git插件以及在CentOs7上安装Git工具Git插件安装
打开服务器安装Git工具
yum install -y git #安装git工具
git --version #查看git版本
5.1.5 配置Gitlab凭证
SSH免密登录
路径:系统管理-->Manage Credentials
在Gitlab服务器上,使用root用户生成钥匙对
ssh-keygen
#/root/.ssh/目录保存公钥和使用
id_rsa:私钥文件
id_rsa.pub:公钥文件
把生成的公钥放在Gitlab中,使用root用户登录Gitlab
查看服务器上的公钥内容
将私钥内容复制到Jenkins
生成后的凭证:
打开gitlab,选择仓库,复制仓库ssh克隆地址
测试,选择zzh001的任务,选择立即构建进行拉取gitlab代码
5.1.6 Maven部署
在Jenkins集成服务器上,我们需要安装Maven来编译和打包项目。
Maven官网:https://maven.apache.org/download.cgi
上传Maven软件【在Jenkins的服务器上装】
5.1.6.1 安装Maven
tar -xf apache-maven-3.8.6-bin.tar.gz #解压
mv apache-maven-3.8.6 /usr/local/maven #移动文件
#配置环境变量
vim/etc/profile
export JAVA_HOME=/usr/java/jdk-11.0.15.1
export MAVEN_HOME=/usr/local/maven
export PATH=$PATH:$JAVA_HOME/bin:$MAVEN_HOME/bin
#刷新配置
source /etc/profile
mvn -v #查找Maven版本
行尾添加【按G到行尾,按o输入】
5.1.6.2 Jenkins配置Maven
打开全局工具设置
5.1.6.3添加Maven
应用保存
打开系统设置
5.1.6.4 修改Maven的settings.xml
mkdir /opt/repo #创建本地仓库目录
vim /usr/local/maven/conf/settings.xml
六、Tomcat服务部署
6.1 JDK配置
#关闭防火墙
systemctl stop firewalld
systemctl disable firewalld
setenforce 0
#上传安装包
apache-tomcat-9.0.16.tar.gz #tomcat安装包
jdk-8u201-linux-x64.rpm #JDK安装包
#解压,安装JDK
rpm -ivh jdk-8u201-linux-x64.rpm
6.2 设置JDK环境变量
#新建文件
vim /etc/profile.d/java.sh
export JAVA_HOME=/usr/java/jdk1.8.0_201-amd64
export CLASSPATH=.:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar
export PATH=$JAVA_HOME/bin:$PATH
#刷新变量
source /etc/profile.d/java.sh
使用java -version查看版本
#在服务台测试
mvn help:system
#出现如下,则说明mvn配置正确
6.3 安装Tomcat
#解压安装包
cd /opt
tar -xf apache-tomcat-9.0.16.tar.gz
#移动解压包到指定目录
mv apache-tomcat-9.0.16 /usr/local/tomcat
#创建用户,便于管理服务
useradd -M -s /sbin/nologin tomcat
chown -R tomcat:tomcat /usr/local/tomcat
#添加启动脚本:
vim /etc/init.d/tomcat
#!/bin/bash
#chkconfig: 35 80 25
#description:Tomcat Service Control Script
start="/usr/local/tomcat/bin/startup.sh"
stop="/usr/local/tomcat/bin/shutdown.sh"
case "$1" in
start)
$start
;;
stop)
$stop
;;
restart)
$0 stop
$0 start
;;
*)
echo "$0 {start|stop|restart}"
esac
#设置:
chmod +x /etc/init.d/tomcat #添加执行权限
chkconfig --add tomcat #添加到系统服务
systemctl start tomcat
lsof -i:8080 #查看服务是否启动
6.4 设置终端访问
#添加tomcat用户密码用于终端登录
vim /usr/local/tomcat/conf/tomcat-users.xml
<tomcat-users>
<role rolename="tomcat"/>
<role rolename="role1"/>
<role rolename="manager-script"/>
<role rolename="manager-gui"/>
<role rolename="manager-status"/>
<role rolename="admin-gui"/>
<role rolename="admin-script"/>
<user username="tomcat" password="123456" roles="tomcat,manager-script,manager-gui,admin-gui,admin-script"/>
</tomcat-users>
#开启终端访问,修改以下配置,默认不许允许远程访问,现在需要注释掉
vim /usr/local/tomcat/webapps/manager/META-INF/context.xml
重启服务:systemctl start tomcat
七、Jenkins–Pipeline流水线项目构建
7.1 Pipeline简介
- 概念
Pipeline,简单来说,就是一套运行在Jenkins上的工作流框架,将原来独立运行于单个或者多个节点的
任务连接起来,实现单个任务难以完成的复杂流程编排和可视化的工作。 - 使用Pipeline有以下好处∶
- 代码: Pipeline以代码的形式实现,通常被检入源代码控制,使团队能够编辑,审查和迭代其传送流程。
- 持久:无论是计划内的还是计划外的服务器重启,Pipeline都是可恢复的。
- 可停止: Pipeline可接收交互式输入,以确定是否继续执行Pipeline。
- 多功能: Pipeline支持现实世界中复杂的持续交付要求。它支持fork/join、循环执行,并行执行任务的功能。
- 可扩展: Pipeline插件支持其DSL的自定义扩展,以及与其他插件集成的多个选项。
- 如何创建Jenkins Pipeline呢?
Pipeline脚本是由Groovy语言实现的,但是我们没必要单独去学习GroovyPipeline支持两种语法:
Declarative(声明式)和Scripted Pipeline(脚本式)语法
**Pipeline也有两种创建方法:
**可以直接在Jenkins的Web UI界面中输入脚本;也可以通过创建一个Jenkinsfile脚本文件放入项目源码库中(一般我们都推荐在Jenkins 中直接从源代码控制(SCM)中直接载入Jenkinsfile Pipeline这种方法)。
7.2 安装Pipeline插件
如图所示:
Pipeline分为:脚本式、声明式,2.0以后推荐使用声明式脚本
声明式:以pipeline开头 stages之前,可以加入环境、jdk、maven等配置,
stages(一个)阶段下有多个stage,stage下有steps,拉取代码等操作
pipeline {
agent any
stages {
stage('pull code') {
steps {
echo '开始拉取代码'
}
}
stage('build project') {
steps {
echo '开始构建'
}
}
stage('publish project') {
steps {
echo '正在部署'
}
}
}
}
7.3 拉取代码
能够看到刚刚的操作!
查看Jenkins工作空间/var/lib/jenkins/workspace/
7.4 编译打包
如图所示:
将代码放入脚本中
再次点击应用、保存,并构建
查看控制台输出
查看Jenkins工作空间
7.5 发布
7.5.1 Tomcat认证
如图所示:
选择流水线语法,生成pipeline脚本
deploy adapters: [tomcat9(credentialsId: '8108a31f-a1bc-4350-9cfb-147bafaae1e8',
path: '', url: 'http://192.168.48.13:8080')], contextPath: null, war: '**/*.war'
将脚本内容复制到代码中
点击应用、保存,并构建,查看控制台输出
访问tomcat界面
文章来源:https://www.toymoban.com/news/detail-416099.html
小编的内容就讲到这里!闲暇之余写的大家喜欢点点关注小爱心哦!文章来源地址https://www.toymoban.com/news/detail-416099.html
到了这里,关于Jenkins详细安装配置部署--超详细的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!