利用 Kubernetes 内置 PodTemplate 管理 Jenkins 构建节点

这篇具有很好参考价值的文章主要介绍了利用 Kubernetes 内置 PodTemplate 管理 Jenkins 构建节点。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

作者:Rick

Jenkins 可以很好地与 Kubernetes 集成,不管是控制器(controller)还是构建节点(agent),都能以 Pod 的形式运行在 Kubernetes 上。 熟悉 Jenkins 的用户,都知道 Jenkins 支持多种类型的构建节点,例如:固定配置、动态配置。而节点与控制器连接的方式, 又包括:JNLP、SSH 等。对于已经在全面拥抱容器技术的用户,大多数是通过连接 Kubernetes 集群并动态启动、销毁 Pod 的方式来使用构建节点。 而随着构建节点的种类、数量增多后,如何更有效地维护这些基于 Kubernetes 的节点,则逐渐成为一个问题。而在这篇文章中, 我将会介绍一种基于配置即代码的方案来管理、维护构建节点。

配置即代码(Configuration as Code,简称为:CasC),是一个非常赞的思路,它使得 Jenkins 用户不需要再一次次地打开 UI 界面去修改系统配置。 通过 UI 修改配置的优点是:借助页面上配置项的描述信息,可以相对容易地理解其含义。但相对应的缺点也是非常明显的:难以复用, 即便是完全相同的配置,也需要手动地在其他环境上再次操作;无法追踪修改过程;发生错误时无法快速回滚。借助 CasC 的能力, 我们可以把 Jenkins 的系统配置保存到一个 Git 代码仓库中,以及 GitOps 工具(例如:Argo CD),最终使得修改 Jenkins 系统配置, 成为一件可控、便捷的工作

不过,当 Jenkins 的变得配置复杂以后,对应的 YAML 配置文件也可能会变得越来越大,难以维护。

回归到我们希望解决的核心问题上来,预期的方案是:只需要单独维护 PodTemplate 即可实现对 Jenkins 构建节点的维护。为了解决该问题, 我们需要搞定 Jenkins 配置中的 PodTemplate 与 Kubernetes 中内置 PodTemplate 不一致的问题;以及如何动态加载 Jenkins 配置的问题。

为了解决上述的几个问题点,只需要部署一个 Deployment 即可。这个组件负责监听 Kubernetes 内置的 PodTemplate, 把其加载到 Jenkins 的系统配置(CasC YAML 文件)中,再调用 Jenkins API 重新加载配置。为了充分地利用到 Kubernetes 的优势, 我们把 CasC 配置存储为 ConfigMap,并以卷(Volume)的形式挂载到 Jenkins 中。

以下是实验步骤(本文提供的是核心思路和关键步骤,每个具体的文件都可以在文末提供的代码仓库地址中找到):

准备一个 Kubernetes 集群,确保有足够的访问权限,确保不会影响到集群已有业务。推荐使用诸如:MiniKube、Kind、K3s 等便于开发、测试的轻型集群。

首先,把 Jenkins 的系统配置以 CasC YAML 格式存放到 ConfigMap 中,例如:

apiVersion: v1
data:
 jenkins_user.yaml: |
   jenkins:
     mode: EXCLUSIVE
     numExecutors: 0
     scmCheckoutRetryCount: 2
     disableRememberMe: true
     clouds:
       - kubernetes:
           name: "kubernetes"
           serverUrl: "https://kubernetes.default"
           skipTlsVerify: true
kind: ConfigMap
metadata:
 name: jenkins-casc-config
 namespace: kubesphere-devops-system

然后,把上面的 ConfigMap 挂载到 Jenkins 工作负载中。需要注意的是, 实验中使用的 Jenkins 必须安装的插件有:kubernetes kubernetes-credentials-provider configuration-as-code。参考如下:

spec:
 template:
   spec:
     containers:
     - image: ghcr.io/linuxsuren/jenkins:lts
       env:
       - name: CASC_JENKINS_CONFIG
         value: "/var/jenkins_home/casc_configs/"          # loading config file from a directory that was mount from a ConfigMap
       volumeMounts:
       - mountPath: /var/jenkins_home/casc_configs
         name: casc-config                                 # mount from a volume
     volumes:
     - configMap:
         defaultMode: 420
         name: jenkins-casc-config                         # clamin a ConfigMap volume, all the CasC YAML content will be here
       name: casc-config

接下来,便是核心的 Kubernetes 控制器了。请参考如下配置创建对应的 Deployment:

apiVersion: apps/v1
kind: Deployment
metadata:
 name: jenkins-agent
 namespace: kubesphere-devops-system
spec:
 template:
   spec:
     containers:
     - image: kubespheredev/devops-controller:dev-v3.2.1-rc.3-6726130
       name: controller
       args:
       - --enabled-controllers
       - all=false,jenkinsagent=true,jenkinsconfig=true        # only enable the necessary features of this controller

该控制器会监听所有带有标签 jenkins.agent.pod 的 PodTemplate 资源,并把它转化为 Jenkins 风格的 PodTemplate 后加载到系统配置中。 通常情况下,这可能会有 3~5 秒的延迟。

当你完成以上所有步骤,确保相关组件都正确启动后,就可以尝试添加一个 Kubernetes 内置的 PodTemplate了。然后,你可以创建一个流水线来测试对应的节点。

参考资料

  • 示例配置文件
  • 核心控制器
  • 英文版本

    本文由博客一文多发平台 OpenWrite 发布!文章来源地址https://www.toymoban.com/news/detail-441109.html

到了这里,关于利用 Kubernetes 内置 PodTemplate 管理 Jenkins 构建节点的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 利用Hadoop进行数据湖构建与管理

    利用Hadoop进行数据湖构建与管理 一、引言 在大数据的时代,数据的增长速度已经远超过了传统的数据处理和存储能力。为了解决这个问题,数据湖的概念应运而生。数据湖是一个集中式的存储和处理平台,可以存储各种类型的数据,而不需要事先进行结构化的处理。Hadoop,

    2024年03月12日
    浏览(97)
  • 【基于容器的部署、扩展和管理】3.1 容器编排系统和Kubernetes集群的构建

    往期回顾: 第一章:【云原生概念和技术】 第二章:【容器化应用程序设计和开发】 基于容器的部署、扩展和管理是一种现代软件开发和部署的方式,它提供了快速、可重复、可移植的开发和部署流程,同时也简化了应用程序的扩展和管理。 在基于容器的部署中,应用程序

    2024年02月08日
    浏览(46)
  • Kubernetes(K8s)与虚拟GPU(vGPU):实现高效管理和利用GPU资源的最佳实践

    目录 第一节:Kubernetes简介 第二节:虚拟GPU(vGPU)简介 第三节:Kubernetes中的GPU资源管理 第四节:虚拟GPU(vGPU)的部署和配置 第五节:GPU资源调度和负载均衡 第六节:GPU资源监控和调优 结论: 可先阅读一下参考: kubernetes如何将异构GPU(如NVIDIA、海光、寒武纪)统一协同

    2024年04月13日
    浏览(46)
  • 【GameFramework框架内置模块】2、数据节点(Data Node)

    推荐阅读 CSDN主页 GitHub开源地址 Unity3D插件分享 简书地址 大家好,我是佛系工程师 ☆恬静的小魔龙☆ ,不定时更新Unity开发技巧,觉得有用记得一键三连哦。 【GameFramework框架】系列教程目录: https://blog.csdn.net/q764424567/article/details/135831551 2-1、简介 这一篇讲数据节点 DataNo

    2024年02月21日
    浏览(35)
  • 【kubernetes篇】教你kubeadm方式搭建kubernetes 集群。单master节点集群,多master节点集群说明。

    kubernetes集群分为单Master节点集群和多Master节点集群。在实际应用中我们一般采用多Master节点集群,实现高可用。 单Master节点集群模型: 多Master节点集群模型 Master节点:2核,4G内存,20G磁盘 Node节点:4核,8G内存,40G磁盘 Master只是作为控制节点,占用资源不高,但是Node节点

    2023年04月09日
    浏览(49)
  • jenkins——环境变量、节点配置以及节点环境变量的使用

    Jenkins 环境变量就是通过 env 暴露出来的全局变量,可以在 Jenkins 文件的任何位置使用 a、系统内置环境变量 BUILD_NUMBER BUILD_URL JOB_NAME GIT_URL b、用户自定义环境变量 全局环境变量入口 Dashboard - 系统管理(Manage Jenkins) - 系统配置(Configure System)- 全局属性 linux部署:$变

    2023年04月26日
    浏览(46)
  • Jenkins基础篇--添加节点

    Jenkins 拥有分布式构建(在 Jenkins 的配置中叫做节点),分布式构建能够让同一套代码在不同的环境(如:Windows 和 Linux 系统)中编译、测试等。 Jenkins 运行的主机在逻辑上是 master 节点,下图是主节点和从节点的关系。 1、安装SSH Agent 插件,插件安装可参考:Jenkins基础篇--推荐插

    2024年02月02日
    浏览(59)
  • Jenkins之节点的使用

    Jenkins服务运行在一台服务器上,服务器的资源是有限的,Jenkins服务的构建速度受服务器资源影响,也是有限的。当我们需要构建的项目比较多或规模比较大的时候,可能会超出Jenkins的构建能力,超出其构建能力,导致构建任务堆积,严重的话会让服务崩溃。 单个Jenkins服务

    2024年02月10日
    浏览(51)
  • Jenkins 添加node节点

    安装SSH插件 Jenkins- 插件管理- 可选插件- 搜索SSH Agent 配置启用SSH Server Jenkins- 系统管理 - 全局安全配置, 把 SSH Server 设置为启用(默认是禁用) 新增节点 第一种方式(SSH密钥连接): 1.Jenkins主机生成SSH密钥 2.发送Jenkins主机公钥至要远程主机上 3.测试Jenkins主机免密连接远程主机

    2024年02月04日
    浏览(55)
  • Jenkins-创建节点并连接

    Jenkins是构建一个Job通过一系列配置来实现一键操作或构建定时任务,而这些任务要远程到哪台机器上运行,就需要配置节点 前提:节点机器上已经安装配置了JDK环境 1、登录jenkins控制台,点击【DashBoard】-【Manage Jenkins】,找到【Manage Nodes and Clouds】 2、 点击【Manage Nodes and

    2024年02月03日
    浏览(35)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包