【Go】K8s 管理系统项目[Jenkins Pipeline K8s环境–应用部署]

这篇具有很好参考价值的文章主要介绍了【Go】K8s 管理系统项目[Jenkins Pipeline K8s环境–应用部署]。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

K8s 管理系统项目[Jenkins Pipeline K8s环境–应用部署]

【Go】K8s 管理系统项目[Jenkins Pipeline K8s环境–应用部署]

1. k8s-plantform-api-Pipeline

考虑到实际工作中前后端可能是不同的同学完成,一般Api部分完成后改动会比较小,web部分改动会比较频繁.于是将api和web分了2个pipeline实现

1.1 GIt仓库

  1. docker目录存放镜像构建相关文件
  2. k8s-plantform-api 存放api部分代码
  3. Jenkinsfile用作pipeline配置
  4. yaml用作生成k8s下k8s-plantform-api相关资源

【Go】K8s 管理系统项目[Jenkins Pipeline K8s环境–应用部署]

1.1.1 docker目录

1.1.1.1 Dockerfile
# 设置基础镜像
FROM centos:7.9.2009
#FROM harbor.intra.com/k8s-dashboard/api:v1

# 设置作者信息
LABEL maintainer="qiuqin <13917099322@139.com>"

# 创建目录
RUN mkdir -p /data/k8s-plantform

# 复制应用程序
Add ../k8s-plantform/* /data/k8s-plantform

# 安装 Go 和创建目录
RUN cd /etc/yum.repos.d  && \
    rm -f *.repo 
RUN cd /data/k8s-plantform&& \
    curl -o /etc/yum.repos.d/CentOS-Base.repo https://mirrors.aliyun.com/repo/Centos-7.repo && \
    echo "export GO111MODULE=on" >> ~/.profile&& \
    echo "export GOPROXY=https://goproxy.cn" >> ~/.profile&& \
    source ~/.profile&& \
    rpm --import https://mirror.go-repo.io/centos/RPM-GPG-KEY-GO-REPO &&\
    curl -s https://mirror.go-repo.io/centos/go-repo.repo | tee /etc/yum.repos.d/go-repo.repo &&\
    yum install go -y &&\
    go mod tidy

WORKDIR /data/k8s-plantform
ADD ./start.sh /data/k8s-plantform
# 暴露端口
EXPOSE 9091

# 启动应用程序
CMD ["/data/k8s-plantform/start.sh"]
1.1.1.2 start.sh
#!/bin/bash
echo "export GO111MODULE=on" >> ~/.profile
echo "export GOPROXY=https://goproxy.cn" >> ~/.profile
echo ${Db_Ip}>/data/dip.txt
echo ${Db_Port}>/data/dprt.txt
echo ${Db_User}>/data/duser.txt
echo ${Db_Pass}>/data/dpas.txt
dip=`cat /data/dip.txt`
dprt=`cat /data/dprt.txt`
duser=`cat /data/duser.txt`
dpas=`cat /data/dpas.txt`
[ ${Db_Ip} ] && sed -Ei "s/Db_Ip/${dip}/g" /data/k8s-plantform/config/config.go
[ ${Db_Port} ] && sed -Ei "s/Db_Port/${dprt}/g" /data/k8s-plantform/config/config.go
[ ${Db_User} ] && sed -Ei "s/Db_User/${duser}/g" /data/k8s-plantform/config/config.go
[ ${Db_Pass} ] && sed -Ei "s/Db_Pass/${dpas}/g" /data/k8s-plantform/config/config.go
sleep 3
rm -f /data/*.txt
source ~/.profile
cd /data/k8s-plantform
go run main.go

1.1.2 k8s-plantform-api目录

1.1.2.1 config.go

数据库的配置会由configmap传递到容器,并由脚本替换

k8s-plantform-api/config/config.go

package config

import "time"

const (
	//监听地址
	ListenAddr = "0.0.0.0:9091"
	//kubeconfig路径
	Kubeconfig = "config/config"
	//pod日志tail显示行数
	PodLogTailLine = 2000
	//登录账号密码
	AdminUser = "admin"
	AdminPwd  = "123456"

	//数据库配置
	DbType = "mysql"
	DbHost = "Db_Ip"
	DbPort = Db_Port
	DbName = "k8s_dashboard"
	DbUser = "Db_User"
	DbPwd  = "Db_Pass"
	//打印mysql debug sql日志
	LogMode = false
	//连接池配置
	MaxIdleConns = 10               //最大空闲连接
	MaxOpenConns = 100              //最大连接数
	MaxLifeTime  = 30 * time.Second //最大生存时间
)

1.1.3 Jenkinsfile

pipeline {
    agent any
    environment {
        Harbor_Addr = '192.168.31.104'
        Username = 'admin'
        Passwd = 'root123'
        Port = '9091'
    }
    stages {
        stage('代码克隆') {
            steps {
                checkout([$class: 'GitSCM', branches: [[name: '*/main']], extensions: [], userRemoteConfigs: [[credentialsId: '3c67dc4c-db8a-4c78-8278-19cf9eca88ce', url: 'http://192.168.31.199/root/k8s-plantform-api.git']]])
            }
        }
        stage('SonarQube') {
            steps{
                sh '/var/jenkins_home/sonar-scanner/bin/sonar-scanner -Dsonar.projectname=${JOB_NAME} -Dsonar.projectKey=${JOB_NAME} -Dsonar.sources=./ -Dsonar.login=cdd09d5224d8623e4931bcf433274ae996c746f3'
            }
        }
        stage('镜像制作和上传harbor') {
            steps {
                sh '''\\cp -R k8s-plantform-api docker/k8s-plantform
                docker build -t k8sapi:${BUILD_TIMESTAMP} docker/
                docker login -u admin -p root123 192.168.31.104
                docker tag k8sapi:v1 192.168.31.104/k8s-dashboard/k8sapi:${BUILD_TIMESTAMP}
                docker push 192.168.31.104/k8s-dashboard/k8sapi:${BUILD_TIMESTAMP}'''
            }
        }
        stage('把yaml推送到k8s上') {
            steps {
                sshPublisher(publishers: [sshPublisherDesc(configName: 'k8sapi-192.168.31.41', transfers: [sshTransfer(cleanRemote: false, excludes: '', execCommand: '', execTimeout: 120000, flatten: false, makeEmptyDirs: false, noDefaultExcludes: false, patternSeparator: '[, ]+', remoteDirectory: '', remoteDirectorySDF: false, removePrefix: '', sourceFiles: 'yaml/api*.yaml')], usePromotionTimestamp: false, useWorkspaceInPromotion: false, verbose: false)])
            }
        }
        stage('k8s上部署') {
            steps {
                sh 'ssh 192.168.31.41 "sed -i \'s/Tag/\$BUILD_TIMESTAMP/g\' /opt/k8sapi/yaml/api-deployment.yaml && kubectl apply -f /opt/k8sapi/yaml/"'
            }
        }
    }
}

1.1.4 yaml

这里和之前的K8s 管理系统项目36[K8s环境–应用部署]配置一样,略

1.2 Jenkins Pipeline

1.2.1 Pipeline设置

【Go】K8s 管理系统项目[Jenkins Pipeline K8s环境–应用部署]

1.2.2 Jenkins工作目录配置

[系统管理] --> [系统配置]

【Go】K8s 管理系统项目[Jenkins Pipeline K8s环境–应用部署]

1.2.3 构建完成

【Go】K8s 管理系统项目[Jenkins Pipeline K8s环境–应用部署]

1.3 Api测试

【Go】K8s 管理系统项目[Jenkins Pipeline K8s环境–应用部署]

至此Api的部署已经完成

2. k8s-plantform-web-Pipeline

2.1 Git仓库

  1. docker目录存放镜像构建相关文件
  2. k8s-plantform-web 存放api部分代码
  3. Jenkinsfile用作pipeline配置
  4. yaml用作生成k8s下k8s-plantform-web相关资源

2.1.1 docker目录

2.1.1.1 Dockerfile
# 设置基础镜像
#FROM centos:7.9.2009
FROM 192.168.31.104/baseimages/base_centos:7.9.2009

# 设置作者信息
LABEL maintainer="qiuqin <13917099322@139.com>"

# 创建目录
RUN mkdir -p /data

# 复制应用程序
Add k8s-plantform-web /data/

# 配置yum仓库
#RUN cd /etc/yum.repos.d  && \
#    rm -f *.repo 
#ADD Centos.repo /etc/yum.repos.d/Centos.repo
#RUN yum install gcc gcc-c++ wget -y

# 安装npm		
RUN cd /data && \
	wget https://registry.npmmirror.com/-/binary/node/latest-v16.x/node-v16.15.0-linux-x64.tar.gz && \
	tar xf  node-v16.15.0-linux-x64.tar.gz &&\
	ln -sf /data/node-v16.15.0-linux-x64 /usr/local/node &&\
	ln -sf /data/node-v16.15.0-linux-x64/bin/npm /usr/bin/npm &&\
	export NODE_HOME=/usr/local/node &&\ 
	export PATH=$NODE_HOME/bin:$PATH &&\
	rm -f node-v16.15.0-linux-x64.tar.gz &&\
	cd /data/k8s-plantform-web/ &&\
	npm install

WORKDIR /data/k8s-plantform-web
ADD start.sh /data/k8s-plantform-web/
# 暴露端口
EXPOSE 9090

# 启动应用程序
CMD ["/data/k8s-plantform-web/start.sh"]
2.1.1.2 start.sh
#!/bin/bash
export NODE_HOME=/usr/local/node
export PATH=$NODE_HOME/bin:$PATH
cd /data/k8s-plantform-web/
npm run serve

2.1.2 k8s-plantform-web

2.1.2.1 vue.config.js

k8s-plantform-web/vue.config.js

const { defineConfig } = require('@vue/cli-service')

module.exports = defineConfig({
  devServer:{
    host: '0.0.0.0',  // 监听地址
    port: 9090,           // 监听端口
    open: true,            // 启动后是否打开网页
    allowedHosts: [
      'web.k8s.intra.com',
      '.intra.com'
    ],
  },
  // 关闭语法检测
  lintOnSave: false,
})
2.1.2.2 Config.js

这里将url替换成api的ingress地址

k8s-plantform-web/src/views/common/Config.js

export default {
    //后端接口路径
    loginAuth: 'http://api.k8s.intra.com/api/login',
    k8sWorkflowCreate: 'http://api.k8s.intra.com/api/k8s/workflow/create',
    k8sWorkflowDetail: 'http://api.k8s.intra.com/api/k8s/workflow/detail',
    k8sWorkflowList: 'http://api.k8s.intra.com/api/k8s/workflows',
    k8sWorkflowDel: 'http://api.k8s.intra.com/api/k8s/workflow/del',
    k8sDeploymentList: 'http://api.k8s.intra.com/api/k8s/deployments',
    k8sDeploymentDetail: 'http://api.k8s.intra.com/api/k8s/deployment/detail',
    k8sDeploymentUpdate: 'http://api.k8s.intra.com/api/k8s/deployment/update',
    k8sDeploymentScale: 'http://api.k8s.intra.com/api/k8s/deployment/scale',
    k8sDeploymentRestart: 'http://api.k8s.intra.com/api/k8s/deployment/restart',
    k8sDeploymentDel: 'http://api.k8s.intra.com/api/k8s/deployment/del',
    k8sDeploymentCreate: 'http://api.k8s.intra.com/api/k8s/deployment/create',
    k8sDeploymentNumNp: 'http://api.k8s.intra.com/api/k8s/deployment/numnp',
    k8sPodList: 'http://api.k8s.intra.com/api/k8s/pods',
    k8sPodDetail: 'http://api.k8s.intra.com/api/k8s/pod/detail',
    k8sPodUpdate: 'http://api.k8s.intra.com/api/k8s/pod/update',
    k8sPodDel: 'http://api.k8s.intra.com/api/k8s/pod/del',
    k8sPodContainer: 'http://api.k8s.intra.com/api/k8s/pod/container',
    k8sPodLog: 'http://api.k8s.intra.com/api/k8s/pod/log',
    k8sPodNumNp: 'http://api.k8s.intra.com/api/k8s/pod/numnp',
    k8sDaemonSetList: 'http://api.k8s.intra.com/api/k8s/daemonsets',
    k8sDaemonSetDetail: 'http://api.k8s.intra.com/api/k8s/daemonset/detail',
    k8sDaemonSetUpdate: 'http://api.k8s.intra.com/api/k8s/daemonset/update',
    k8sDaemonSetDel: 'http://api.k8s.intra.com/api/k8s/daemonset/del',
    k8sStatefulSetList: 'http://api.k8s.intra.com/api/k8s/statefulsets',
    k8sStatefulSetDetail: 'http://api.k8s.intra.com/api/k8s/statefulset/detail',
    k8sStatefulSetUpdate: 'http://api.k8s.intra.com/api/k8s/statefulset/update',
    k8sStatefulSetDel: 'http://api.k8s.intra.com/api/k8s/statefulset/del',
    k8sServiceList: 'http://api.k8s.intra.com/api/k8s/services',
    k8sServiceDetail: 'http://api.k8s.intra.com/api/k8s/service/detail',
    k8sServiceUpdate: 'http://api.k8s.intra.com/api/k8s/service/update',
    k8sServiceDel: 'http://api.k8s.intra.com/api/k8s/service/del',
    k8sServiceCreate: 'http://api.k8s.intra.com/api/k8s/service/create',
    k8sIngressList: 'http://api.k8s.intra.com/api/k8s/ingresses',
    k8sIngressDetail: 'http://api.k8s.intra.com/api/k8s/ingress/detail',
    k8sIngressUpdate: 'http://api.k8s.intra.com/api/k8s/ingress/update',
    k8sIngressDel: 'http://api.k8s.intra.com/api/k8s/ingress/del',
    k8sIngressCreate: 'http://api.k8s.intra.com/api/k8s/ingress/create',
    k8sConfigMapList: 'http://api.k8s.intra.com/api/k8s/configmaps',
    k8sConfigMapDetail: 'http://api.k8s.intra.com/api/k8s/configmap/detail',
    k8sConfigMapUpdate: 'http://api.k8s.intra.com/api/k8s/configmap/update',
    k8sConfigMapDel: 'http://api.k8s.intra.com/api/k8s/configmap/del',
    k8sSecretList: 'http://api.k8s.intra.com/api/k8s/secrets',
    k8sSecretDetail: 'http://api.k8s.intra.com/api/k8s/secret/detail',
    k8sSecretUpdate: 'http://api.k8s.intra.com/api/k8s/secret/update',
    k8sSecretDel: 'http://api.k8s.intra.com/api/k8s/secret/del',
    k8sPvcList: 'http://api.k8s.intra.com/api/k8s/pvcs',
    k8sPvcDetail: 'http://api.k8s.intra.com/api/k8s/pvc/detail',
    k8sPvcUpdate: 'http://api.k8s.intra.com/api/k8s/pvc/update',
    k8sPvcDel: 'http://api.k8s.intra.com/api/k8s/pvc/del',
    k8sNodeList: 'http://api.k8s.intra.com/api/k8s/nodes',
    k8sNodeDetail: 'http://api.k8s.intra.com/api/k8s/node/detail',
    k8sNamespaceList: 'http://api.k8s.intra.com/api/k8s/namespaces',
    k8sNamespaceDetail: 'http://api.k8s.intra.com/api/k8s/namespace/detail',
    k8sNamespaceDel: 'http://api.k8s.intra.com/api/k8s/namespace/del',
    k8sPvList: 'http://api.k8s.intra.com/api/k8s/pvs',
    k8sPvDetail: 'http://api.k8s.intra.com/api/k8s/pv/detail',
    k8sTerminalWs: 'ws://localhost:8081/ws',
    //编辑器配置
    cmOptions: {
        // 语言及语法模式
        mode: 'text/yaml',
        // 主题
        theme: 'idea',
        // 显示行数
        lineNumbers: true,
        smartIndent: true, //智能缩进
        indentUnit: 4, // 智能缩进单元长度为 4 个空格
        styleActiveLine: true, // 显示选中行的样式
        matchBrackets: true, //每当光标位于匹配的方括号旁边时,都会使其高亮显示
        readOnly: false,
        lineWrapping: true //自动换行
    }
}

2.1.3 Jenkinsfile

pipeline {
    agent any
    environment {
        Harbor_Addr = '192.168.31.104'
        Username = 'admin'
        Passwd = 'root123'
        Port = '9090'
    }
    stages {
        stage('代码克隆') {
            steps {
                checkout([$class: 'GitSCM', branches: [[name: '*/main']], extensions: [], userRemoteConfigs: [[credentialsId: '3c67dc4c-db8a-4c78-8278-19cf9eca88ce', url: 'http://192.168.31.199/root/k8s-plantform-web.git']]])
            }
        }
        stage('镜像制作和上传harbor') {
            steps {
                sh '''\\cp -R k8s-plantform-web docker/k8s-plantform-web
                docker build -t k8sweb:${BUILD_TIMESTAMP} docker/
                docker login -u admin -p root123 192.168.31.104
                docker tag k8sweb:${BUILD_TIMESTAMP} 192.168.31.104/k8s-dashboard/k8sweb:${BUILD_TIMESTAMP}
                docker push 192.168.31.104/k8s-dashboard/k8sweb:${BUILD_TIMESTAMP}'''
            }
        }
        stage('把yaml推送到k8s上') {
            steps {
                sshPublisher(publishers: [sshPublisherDesc(configName: 'k8sweb-192.168.31.41', transfers: [sshTransfer(cleanRemote: false, excludes: '', execCommand: '', execTimeout: 120000, flatten: false, makeEmptyDirs: false, noDefaultExcludes: false, patternSeparator: '[, ]+', remoteDirectory: '', remoteDirectorySDF: false, removePrefix: '', sourceFiles: 'yaml/web*.yaml')], usePromotionTimestamp: false, useWorkspaceInPromotion: false, verbose: false)])
            }
        }
        stage('k8s上部署') {
            steps {
                sh 'ssh 192.168.31.41 "sed -i \'s/Tag/\$BUILD_TIMESTAMP/g\' /opt/k8sweb/yaml/web-deployment.yaml && kubectl apply -f /opt/k8sweb/yaml/"'
            }
        }
    }
}

2.1.4 yaml

这里和之前的K8s 管理系统项目36[K8s环境–应用部署]配置一样,略

2.2 Jenkins Pipeline

2.2.1 Pipeline 设置

【Go】K8s 管理系统项目[Jenkins Pipeline K8s环境–应用部署]

2.2.2 Jenkins工作目录配置

[系统管理] --> [系统配置]

【Go】K8s 管理系统项目[Jenkins Pipeline K8s环境–应用部署]

2.2.3 构建完成

【Go】K8s 管理系统项目[Jenkins Pipeline K8s环境–应用部署]

2.3 Web测试

2.3.1 登录页面

【Go】K8s 管理系统项目[Jenkins Pipeline K8s环境–应用部署]

2.3.2 主要功能测试

2.3.2.1 集群状态

【Go】K8s 管理系统项目[Jenkins Pipeline K8s环境–应用部署]

2.3.2.2 Pods

【Go】K8s 管理系统项目[Jenkins Pipeline K8s环境–应用部署]

2.3.2.3 Service

【Go】K8s 管理系统项目[Jenkins Pipeline K8s环境–应用部署]文章来源地址https://www.toymoban.com/news/detail-401963.html

到了这里,关于【Go】K8s 管理系统项目[Jenkins Pipeline K8s环境–应用部署]的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • k8s-1.28.2权限管理(系统普通用户查看对应namespace)

    操作前提是已经有namespace,本文的namespace是nacos umask 077; openssl genrsa -out nacos1.key 2048 参数:-subj指定组和用户,其中O是组名,CN是用户名 openssl req -new -key nacos1.key -out nacos1.csr -subj \\\"/O=nacos1/CN=nacos1\\\" openssl x509 -req -in nacos1.csr -CA /etc/kubernetes/pki/ca.crt -CAkey /etc/kubernetes/pki/ca.key -CAcreat

    2024年01月24日
    浏览(58)
  • 【Kubernetes 企业项目实战】06、基于 Jenkins+K8s 构建 DevOps 自动化运维管理平台(中)

    目录 一、基于 Jenkins+k8s+Git+Docker Hub 等技术链构建企业级 DevOps 容器云平台 1.1 安装 Jenkins 1.1.1 安装 nfs 服务 1.1.2 在 kubernetes 中部署 jenkins 1.2 配置 Jenkins ​1.2.1 获取管理员密码 1.2.2 安装插件 1.2.3 创建第一个管理员用户 1.3 测试 jenkins 的 CI/CD 1.3.1 在 Jenkins 中安装 kubernetes 插件

    2024年01月16日
    浏览(51)
  • Devops系列五(CI篇之pipeline libraray)jenkins将gitlab helm yaml和argocd 串联,自动部署到K8S

    本文是CI篇的上文,因为上一篇已经作了总体设计,就不再赘述,有需要的请看前文。 我们将演示,使用CI工具–jenkins,怎么和CD工具–argocd串联,重点是在Jenkins该怎么做。准备工作和argocd等相关事项,在前文已铺垫ok。 Jenkins,我们是使用k8s来部署的一个master-slave结构的集群

    2024年02月13日
    浏览(34)
  • k8s 部署Jenkins项目

    要求:当前集群配置了storageClass,并已指定默认的storageClass,一般情况下,创建的storageClass即为默认类 指定默认storageClass的方式 1.1 部署helm 1.2 部署jenkins 1.3 检查 jenkins 1.4 配置访问 3.1 准备ruoyi数据 3.2 准备k8s证书 3.3 准备maven配置文件 3.4 配置钉钉插件 在系统管理的下方有未

    2024年01月21日
    浏览(33)
  • k8s的jenkins部署java项目到k8s集群cicd持续集成

    k8s1.16.0-k8s的jenkins部署java项目到k8s集群cicd(ci成,cd手动部署的) 注意: 本文档只是实现了ci,cd是通过ci生成的镜像,再手工再k8s-master执行的部署(只因pod部署的jenkins连接k8s的认证不知怎么操作,若jenkins是单独部署在k8s-master机器上,能直接在master执行kubectl命令就没这个问题了

    2024年02月03日
    浏览(37)
  • Jenkins打包springboot项目到k8s

    遇到的问题: 在使用docker build命名的时候,报如下错误 解决方案: 在jenkins 启动的docker-compose文件中增加如下配置 遇到的问题: 在使用docker build命令的时候,报如下错误 解决方案: 参考博文Docker、Jenkins、Harbor 构建镜像部署 SpringBoot 项目,先不在jenkins中执行,先在宿主机

    2024年02月21日
    浏览(28)
  • Jenkins构建项目并部署到K8S实践

    本次实践使用gitee上的开源项目悟空CRM9.0进行构建并部署到k8S中 悟空CRM9.0项目简介: 悟空CRM-基于jfinal+vue+ElementUI的前后端分离CRM系统。 项目gitee地址:https://gitee.com/wukongcrm/72crm-java.git 软件 版本 IP 备注 K8S 1.26.x 192.168.1.124 192.168.1.124为K8S集群master01节点IP地址 Harbor 2.6.2 192.168.1.

    2024年02月20日
    浏览(47)
  • k8s环境jenkins发布vue项目指定nodejs版本

    发布一个前端项目,它需要nodejs 16.9.0版本支持,而kubesphere 3.2.0集成的jenkins 的镜像只支持nodejs v10.16.3 该项目基于的环境是k8s 1.23.4,docker 20.10.12. vue 2.7 Jenkins Kubernetes插件 kubesphere 平台安装了jenkins ,基于Jenkins Kubernetes插件,自动化在Kubernetes中运行的Jenkins-slave代理的缩放。该插件

    2024年02月09日
    浏览(34)
  • K8S + GitLab + Jenkins自动化发布项目实践(二)

    前置工作:已部署5节点k8s集群,并搭建了代码仓库和镜像仓库(GitLab + Harbor)。 主机名 IP 角色 k8s-master1 192.168.124.a k8s控制平面 k8s-master2 192.168.124.b k8s控制平面 k8s-master3 192.168.124.c k8s控制平面 k8s-worker1 192.168.124.d k8s工作节点 k8s-worker2 192.168.124.e k8s工作节点 harborgit 192.168.124.f

    2024年02月03日
    浏览(66)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包