【python】通过gitlab v4版本api接口批量拉取代码、迁移

这篇具有很好参考价值的文章主要介绍了【python】通过gitlab v4版本api接口批量拉取代码、迁移。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

适用场景:批量拉取代码,仓库转移

一、环境信息

脚本适用于:python2
测试版本:2.7.18
【python】通过gitlab v4版本api接口批量拉取代码、迁移

二、参数说明

apiToken: gitlab个人账户授权的apitoken ,通过点击右上角【用户头像】->选择【Edit profile】 ->菜单中选择【 访问令牌】,右侧 进行创建,建议给予全部权限

【python】通过gitlab v4版本api接口批量拉取代码、迁移
【python】通过gitlab v4版本api接口批量拉取代码、迁移

projectUrl: gitlab地址,一般只需要修改ip和端口

三、脚本使用说明

1. 使用python2运行git.py

python git.py

2. python脚本执行完毕会自动生成如下四个文件

  • allproject.json: 所有有权限的非空项目信息

  • projectclone.sh : 所有项目组成的git clone 命令

  • projectclonemirror.sh 所有项目组成的git clone -mirror命令

  • projectpull.sh 所有项目组成的git pull命令

3. 其他脚本说明

  • update.sh: 从目录向下扫描git、svn项目并更新

四、脚本源码

1. git.py

通过gitlab 提供的api接口访问项目信息

# coding: utf-8
import os
import requests
import json
import sys
#python2
reload(sys)
sys.setdefaultencoding('utf-8')

#配置信息,根据实际情况修改
apiToken="X******Seq-******tc"
projectUrl='http://127.0.0.1/api/v4/projects'
#页容量
pageSize=100
projectInfo=[]
currPath=os.getcwd()
#所有项目信息(路径根据所使用环境信息,可能需要修改分隔符)
projectJson=open(currPath+"\\allproject.json",mode="w")
#clone所有项目
projectClone=open(currPath+"\\projectclone.sh",mode="w")
#clone --mirror所有项目
projectCloneMirror=open(currPath+"\\projectclonemirror.sh",mode="w")
#pull所有分支
projectPull=open(currPath+"\\projectpull.sh",mode="w")

projectClone.write("#!/bin/bash\nworkpath=$(cd \"$(dirname \"$0\")\";pwd)\n")
projectCloneMirror.write("#!/bin/bash\nworkpath=$(cd \"$(dirname \"$0\")\";pwd)\n")
projectPull.write("#!/bin/bash\nworkpath=$(cd \"$(dirname \"$0\")\";pwd)\n")

#get请求gitlab的v4 api接口
def get(getUrl):
    pageNo = 1
    totalPage = 1
    totaldata = [];
    while pageNo < totalPage+1:
        res = requests.get(url=getUrl+'?per_page='+str(pageSize)+'&page='+str(pageNo),headers={"PRIVATE-TOKEN":apiToken})
        #print(res.headers)
        totalPage=int(res.headers.get('X-Total-Pages'))
        totaldata.extend(json.loads(res.text));
        #print('total:',totalPage,'pageNo',pageNo)
        pageNo+=1
    #print(len(totaldata))
    return totaldata;
#获取所有分支
def getBranch(branchRepo):
  branchR = []
  branchs = get(branchRepo)
  for branch in branchs:
    branchR.append(branch['name'])
  return branchR
  
#获取所有tag
def getTages(branchRepo):
  tagRepo = branchRepo.replace("/branches","/tags")
  branchR = []
  branchs = get(tagRepo)
  for branch in branchs:
    branchR.append(branch['name'])
  return branchR


#获取所有项目
def getAllProject():
    projectList = get(projectUrl)
    for proj in projectList:
      if proj['empty_repo']:
        print('null project:',proj['path_with_namespace'])
      else:
        projInfo = {}
        projInfo['id'] = proj['id']
        projInfo['path_with_namespace'] = proj['path_with_namespace']
        projInfo['empty_repo'] = proj['empty_repo']
        projInfo['http_url_to_repo'] = proj['http_url_to_repo']
        projInfo['default_branch'] = proj['default_branch']
        projInfo['repo_branches'] = proj['_links']['repo_branches']
        projInfo['branchs'] = getBranch(projInfo['repo_branches'])
        projInfo['tages'] = getTages(projInfo['repo_branches'])
        projectInfo.append(projInfo)
        #处理输出文件,可单独处理
        #处理clone脚本
        projectClone.write("cd $workpath\n")
        projectClone.write("git clone  " + projInfo['http_url_to_repo'] + " " + projInfo['path_with_namespace'] +" \n")
        projectClone.write("cd "+projInfo['path_with_namespace']+"\n")
        #处理clone --mirror脚本
        projectCloneMirror.write("cd $workpath\n")
        projectCloneMirror.write("git clone --mirror  " + projInfo['http_url_to_repo'] + " " + projInfo['path_with_namespace'] +" \n")
        projectCloneMirror.write("cd "+projInfo['path_with_namespace']+"\n")
        #处理pull脚本
        projectPull.write("cd $workpath\n")
        projectPull.write("cd "+projInfo['path_with_namespace']+"\n")
        for branch in projInfo['branchs']:
          projectClone.write("git checkout \""+branch+"\"\n")
          projectClone.write("git pull\n")
          
          projectCloneMirror.write("git checkout \""+branch+"\"\n")
          projectCloneMirror.write("git pull\n")
          
          projectPull.write("git checkout \""+branch+"\"\n")
          projectPull.write("git pull\n")
        for tag in projInfo['tages']:
          projectClone.write("git checkout \""+tag+"\"\n")
          projectCloneMirror.write("git checkout \""+tag+"\"\n")
          projectPull.write("git checkout \""+tag+"\"\n")

          
        #projectCloneMirror.write("#!/bin/bash\nworkpath=$(cd \"$(dirname \"$0\")\";pwd)\n")
        #projectPull.write("#!/bin/bash\nworkpath=$(cd \"$(dirname \"$0\")\";pwd)\n")
    return projectInfo

#
getAllProject()
#将所有项目信息写入文件
projectJson.write(json.dumps(projectInfo))

projectJson.flush()
projectJson.close()

projectClone.flush()
projectClone.close()

projectCloneMirror.flush()
projectCloneMirror.close()

projectPull.flush()
projectPull.close()
#直接调起系统命令
print(os.system('git --version'))

2. update.sh

#自动识别仓库类型(git/svn)并更新

#!/bin/bash
basepath=$(pwd)
echo $basepath
updateSource(){
    #local currpath=$1
    cd $1
    if [ -d $1/.git ]; then
        echo 'start update sourcecode'$1
		echo "开始更新"$currpath
        git pull
	#老版本的svn每个文件夹一个.svn文件夹,
	elif [ -d $1/.svn ]; then
        #revision=`svn info |grep "Last Changed Rev:" |awk '{print $4}'`
        revision=`svn info |grep "最后修改的版本" |awk '{print $2}'`
        if [ $revision > 0 ]; then
            echo '$revision 开始更新代码'$1
            svn update .
        fi
    else
		for childfile in `ls .`
		do
		  pwd
			if [ -d $1/$childfile ]; then
			  updateSource $1/$childfile
			else
				echo $1/$childfile' is not dir , will ignore-------<'
			fi
		done
    fi
}
#main run
updateSource $basepath

五、仓库迁移

通过api创建分组、项目
通过git clone --mirror 及 git push --mirror 迁移仓库
接口异常未处理!

# coding: utf-8
import os
import requests
import json
import sys
import time
#python2
reload(sys)
sys.setdefaultencoding('utf-8')
#源库信息
apiToken="****-******"
projectUrl='http://127.0.0.1:1307/api/v4/projects'
#目标库信息
targetapiToken="****-******"
targetHostUrl='http://127.0.0.1:1306/api/v4/'
#目标库分组id(将按源目录自动提交到此分组下)
targetNamespaceId=6
#目标库分组名称
targetNamespaceName="demo/"
#目标库删除异步等待时间(重新创建)
deleteWaitsec=5
pageSize=100
projectInfo=[]
currPath=os.getcwd()
#所有项目信息
projectJson=open(currPath+"\\allproject.json",mode="w")
#clone --mirror所有项目
projectCloneMirror=open(currPath+"\\projectclonemirrorpush.sh",mode="w")

projectCloneMirror.write("#!/bin/bash\nworkpath=$(cd \"$(dirname \"$0\")\";pwd)\n")

#get请求gitlab的v4 api接口
def get(getUrl):
    pageNo = 1
    totalPage = 1
    totaldata = [];
    while pageNo < totalPage+1:
        res = requests.get(url=getUrl+'?per_page='+str(pageSize)+'&page='+str(pageNo),headers={"PRIVATE-TOKEN":apiToken})
        #print(res.headers)
        totalPage=int(res.headers.get('X-Total-Pages'))
        totaldata.extend(json.loads(res.text));
        #print('total:',totalPage,'pageNo',pageNo)
        pageNo+=1
    #print(len(totaldata))
    return totaldata;
#获取所有分支
def getBranch(branchRepo):
  branchR = []
  branchs = get(branchRepo)
  for branch in branchs:
    branchR.append(branch['name'])
  return branchR
  
#获取所有tag
def getTages(branchRepo):
  tagRepo = branchRepo.replace("/branches","/tags")
  branchR = []
  branchs = get(tagRepo)
  for branch in branchs:
    branchR.append(branch['name'])
  return branchR


def createGroup(pgroupId,groupName):
    print("startcreateGroup",pgroupId,groupName)
    res = requests.get(url=targetHostUrl+'groups?id='+str(pgroupId)+'&search='+groupName,headers={"PRIVATE-TOKEN":targetapiToken})
    if res.status_code<300 and res.status_code >= 199:
        #请求成功
        resdata = (json.loads(res.text));
        if len(resdata) > 0:
            #存在,返回groupid
            print("hasgroup",pgroupId,groupName)
            return resdata[0]['id']
        else:
            #不存在,创建
            print("newgroup",pgroupId,groupName)
            reqdata={"name":groupName,"path":groupName,"parent_id":pgroupId}
            res = requests.post(url=targetHostUrl+'groups',data=reqdata,headers={"PRIVATE-TOKEN":targetapiToken})
            resdata = (json.loads(res.text));
            return resdata['id']
    else:
        print("errorgroup",pgroupId,groupName)        
def pushOnGroup(prowithNamespace,groupId):
    #验证项目是否存在
    res = requests.get(url=targetHostUrl+'projects?search='+targetNamespaceName+prowithNamespace+'&search_namespaces=true',headers={"PRIVATE-TOKEN":targetapiToken})
    resdata = (json.loads(res.text));
    if len(resdata) > 0:
        #项目存在
        print("projecthas",prowithNamespace,groupId)
        proId = resdata[0]["id"]
        requests.delete(url=targetHostUrl+'projects/'+str(proId),headers={"PRIVATE-TOKEN":targetapiToken})
        time.sleep(deleteWaitsec)
        
    grouppros = prowithNamespace.split("/")
    currgroupId = groupId;
    proName=""
    for index in range(len(grouppros)):
      #最后一层是项目名
      if index == len(grouppros)-1:
        proName = grouppros[index]
      else:
        currgroupId = createGroup(currgroupId,grouppros[index])
    #创建项目
    print("startCreateProject",proName,currgroupId)
    prodata={"name": proName,"description":proName,"path": proName,"namespace_id": str(currgroupId),"initialize_with_readme": "false"}
    res = requests.post(url=targetHostUrl+'projects',data=prodata,headers={"PRIVATE-TOKEN":targetapiToken})
    resdata = (json.loads(res.text));
    return resdata['http_url_to_repo']
#获取所有项目
def getAllProject():
    projectList = get(projectUrl)
    for proj in projectList:
      if proj['empty_repo']:
        print('null project:',proj['path_with_namespace'])
      else:
        projInfo = {}
        projInfo['id'] = proj['id']
        projInfo['path_with_namespace'] = proj['path_with_namespace']
        projInfo['empty_repo'] = proj['empty_repo']
        projInfo['http_url_to_repo'] = proj['http_url_to_repo']
        projInfo['default_branch'] = proj['default_branch']
        projInfo['repo_branches'] = proj['_links']['repo_branches']
        projectInfo.append(projInfo)
        #写入拉取代码
        projectCloneMirror.write("cd $workpath\n")
        projectCloneMirror.write("git clone --mirror  " + projInfo['http_url_to_repo'] + " " + projInfo['path_with_namespace'] +" \n")
        #写入提交代码
        projectCloneMirror.write("cd "+projInfo['path_with_namespace']+"\n")
        
        projectCloneMirror.write("git push --mirror  " + pushOnGroup(projInfo['path_with_namespace'],targetNamespaceId) +" \n")
    return projectInfo

#
getAllProject()
#将所有项目信息写入文件
projectJson.write(json.dumps(projectInfo))
projectJson.flush()
projectJson.close()
#直接调起系统命令
print(os.system('git --version'))

六、脚本扩展说明

  1. git.py脚本中最后提供了调用命令行的方法,如果不想生成shell脚本,可再向文件wirte的地方更换成执行命令即可
  2. update.sh脚本中,自动识别到.git和.svn但未限制最大深度。

附录

官网:https://about.gitlab.com/
官方api地址: https://docs.gitlab.com/ee/api/文章来源地址https://www.toymoban.com/news/detail-430144.html

  1. gitlab帮助文档: http://127.0.0.1/help (自行替换ip和端口)
  2. 【推荐使用】gitlab rest api帮助文档: http://127.0.0.1/help/api/README.md (自行替换ip和端口)
  3. 【不推荐使用】gitlab graphql api帮助文档: http://127.0.0.1/help/api/graphql/index.md (自行替换ip和端口)

到了这里,关于【python】通过gitlab v4版本api接口批量拉取代码、迁移的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • Gitlab拉取代码及上传代码操作流程

    配置SSH方法详见 SSH配置

    2024年02月13日
    浏览(32)
  • 内网Gitlab如何拉取代码

    一、安装Git        公司会给你共享盘地址,或者发给你环境,不管怎样git安装上即可,傻瓜式无脑next安装。       安装完成后鼠标右键能看到Git bash 就说明成功了! 二、初始化信息       拿到公司给你的Git账号后,将信息初始化一下,登录到公司给你的Gitlab地址上,右上

    2024年02月02日
    浏览(41)
  • gitlab 和 vscode 项目代码 拉取推送

    1、新建文件夹(存放项目代码,或者原本打开已有的项目代码根目录) 2、在项目代码根目录下,右键选择Git Bash Here(前提是安装好 git) 3、执行命令 git init 初始化 ,然后git add . 添加全部文件到暂存区。(注意 . 前面有空格) 4、提交:git commit -m \\\"首次提交:巴拉巴拉……

    2024年02月07日
    浏览(54)
  • GitLab拉取代码前的SSH密钥配置

    1、检查SSH秘钥是否存在。右击git bash打开终端执行命令 : 2、若密钥不存在,则生成SSH 密钥 。在git bash上面执行命令:         按三次回车  成功后也会在C盘下的用户文件夹中显示一个.ssh的文件夹 : C:Users.ssh pub结尾的就是公钥,另一个是私钥 3、查看公钥cat ~/.ssh/id_rsa

    2024年02月07日
    浏览(39)
  • 使用access token方式拉取gitlab私有代码库

    拉取gitlab私有代码库代码一定要注意安全性,如果是在个人电脑上,使用个人的账号密码方式或者公钥方式都是可以的。但是如果是在公共系统例如CI(自动集成)场景下或者使用公共账号场景下再使用账号密码方式和公钥方式就不能保证安全性了。这时候使用access token方式

    2024年02月10日
    浏览(41)
  • Git怎么使用SSH从GitLab上拉取代码

    我们本来在使用http/https愉快的拉取代码玩耍,但是突然你的Leader告诉你,我们需要使用SSH协议进行Git远程仓库的交互!!!!很迷茫,怎么办,没做过,为什么要使用SSH,不知道怎么做!此文章诞生,保姆级教程。 环境:win11、git version 2.41.0.windows.1 1、进入你的ssh配置文件夹

    2024年02月12日
    浏览(51)
  • 使用TortoiseGit拉取GitLab代码仓库中某一项目的某一分支的代码

    你安装好git+TortoiseGit后,你的右键变为: 说明你安装成功!!! 步骤一:打开GitLab网站,先通过 Clone 下拉框,在其中选择HTTP网址,进行copy【假设这个是:http://test123.git】 还有一点要注意: 这里有一些分支【在例子中是3个】,每个分支由扮演不同角色的人进行维护 步骤二

    2024年03月22日
    浏览(54)
  • git关联两个远程仓库,一个仓库(github)拉取代码,另一个仓库(gitlab)推送代码

    有这种情况,小伙伴们在github上下载的开源项目(该开源项目还在继续开发维护),然后自己下载下来进行二次开发,然后又要把项目推送自己的gitlab私服上,这个时候不得不本地代码关联两个远程仓库。接下来我将一步步讲解如何关联两个远程仓库,并拉取github的开源项目

    2024年02月12日
    浏览(74)
  • 使用TortoiseGit拉取(clone)、提交代码至托管仓库(GitLab、GitHub、Gitee)

    以GitLab为例,假设我们要拉取GitLab上如下路径的代码: Step 1: 获取代码仓库路径 Step 2: 新建文件夹 在本地新建文件夹用于放置拉取的程序文件等: Step 3: Git clone设置 选择代码仓库路径复制到URL,同时设置拉取文件的保存位置即Directory。此外,根据实际情况选择要拉取的代码

    2024年02月02日
    浏览(77)
  • Python ❀ 使用代码实现API接口调用详解

    本文主要讲解常用API接口如何使用python实现。 API :Application Programming Interface,是 应用程序开发接口 的缩写,意思是一些预设好的函数或方法,这些预设好的函数或方法允许第三方程序通过网络来调用数据或提供基于数据的服务。 Python运行环境:python3.10.2 + PyCharm 使用 pip

    2024年01月18日
    浏览(44)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包