harbor（docker仓库）仓库部署

1. harbor概述

虽然Docker官方提供了公共的镜像仓库，但是从安全和效率等方面考虑，部署我们私有环境内的Registry也是非常必要的。

Harbor是由VMware公司开源的企业级的Docker Registry管理项目，相比docker官方拥有更丰富的权限权利和完善的架构设计，适用大规模docker集群部署提供仓库服务。

它主要提供 Dcoker Registry 管理界面UI，可基于角色访问控制,镜像复制， AD/LDAP 集成，日志审核等功能，完全的支持中文。

2. harbor主要功能

• 基于角色的访问控制
  ​ 用户与Docker镜像仓库通过“项目”进行组织管理，一个用户可以对多个镜像仓库在同一命名空间（project）里有不同的权限。

• 基于镜像的复制策略
  ​ 镜像可以在多个Registry实例中复制（可以将仓库中的镜像同步到远程的Harbor，类似于MySQL主从同步功能），尤其适合于负载均衡，高可用，混合云和多云的场景。

• 图形化用户界面
  ​ 用户可以通过浏览器来浏览，检索当前Docker镜像仓库，管理项目和命名空间。

• 支持 AD/LDAP
  ​ Harbor可以集成企业内部已有的AD/LDAP，用于鉴权认证管理。

• 镜像删除和垃圾回收
  ​ Harbor支持在Web删除镜像，回收无用的镜像，释放磁盘空间。image可以被删除并且回收image占用的空间。

• 审计管理
  ​ 所有针对镜像仓库的操作都可以被记录追溯，用于审计管理。

• RESTful API
  ​ RESTful API提供给管理员对于Harbor更多的操控, 使得与其它管理软件集成变得更容易。

• 部署简单
  ​ 提供在线和离线两种安装工具， 也可以安装到vSphere平台(OVA方式)虚拟设备。

3. harbor架构介绍

架构组件图：

如上图所描述，Harbor由6个大的模块所组成：

• 1、Proxy: Harbor的registry、UI、token services等组件，都处在一个反向代理后边。该代理将来自浏览器、docker clients的请求转发到后端服务上。

• 2、Registry: 负责存储Docker镜像，以及处理Docker push/pull请求。因为Harbor强制要求对镜像的访问做权限控制， 在每一次push/pull请求时，Registry会强制要求客户端从token service那里获得一个有效的token。

• 3、Core services: Harbor的核心功能，主要包括如下3个服务:

  • UI：图形界面
  • WebHook：及时获取registry上image状态变化情况，在registry上配置 webhook，把状态变化传递给UI模块。
  • Token服务：负责根据用户权限给每个docker push/pull命令签发token。Docker 客户端向Registry服务发起的请求,如果不包含token，会被重定向到这里，获得token后再重新向Registry进行请求。

• 4、Database：为core services提供数据库服务，负责储存用户权限、审计日志、Docker image分组信息等数据。

• 5、Job services: 主要用于镜像复制，本地镜像可以被同步到远程Harbor实例上。

• 6、Log collector: 负责收集其他组件的日志到一个地方

Harbor在物理机上部署是非常难的，而为了简化Harbor的应用，Harbor官方直接把Harbor做成了在容器中运行的应用，而且这个容器在Harbor中依赖类似redis、mysql、pgsql等很多存储系统，所以它需要编排很多容器协同起来工作，因此VMWare Harbor在部署和使用时，需要借助于Docker的单机编排工具(Docker compose)来实现。

4. Docker Compose

Docker Compose官方文档
CHAPTER 12 Compose（一）

4.1 compose简介

Docker-Compose项目是Docker官方的开源项目，负责实现对Docker容器集群的快速编排。

Compose 是用于定义和运行多容器 Docker 应用程序的工具。通过 Compose，您可以使用 YML 文件来配置应用程序需要的所有服务。然后，使用一个命令，就可以从 YML 文件配置中创建并启动所有服务。

4.2 docker-compose工具命令

docker-compose up	//启动所有服务，默认读取名为docker-compose.yml文件
docker-compose up -d	//在后台启动所有服务

docker-compose build 	//在运行项目前先构建项目所需镜像

docker-compose ps	//列出本地docker-compose.yml文件里定义的正在运行的所有服务

docker-compose stop	//停止所有服务，如果服务没有停止，可以使用docker-compose kill强制杀死服务

docker-compose start	//开启所有服务

docker-compose rm	//删除所有服务

5. harbor部署

Harbor官方文档
Harbor下载站点

使用Harbor的注意事项：

• 在客户端上传镜像时一定要记得执行docker login进行用户认证，否则无法直接push
• 在客户端使用的时候如果不是用的https则必须要在客户端的/etc/docker/daemon.json配置文件中配置insecure-registries参数
• 数据存放路径应在配置文件中配置到一个容量比较充足的共享存储中
• Harbor是使用docker-compose命令来管理的，如果需要停止Harbor也应用docker-compose stop来停止，其他参数请–help

5.1 部署Docker Compose

本次使用二进制部署docker compose
下载地址：docker compose

[root@node-253 opt]# docker -v
Docker version 19.03.9, build 9d988398e7
[root@node-253 opt]# mv docker-compose-linux-x86_64 docker-compose
[root@node-253 opt]# cp docker-compose /usr/local/bin/
cp: overwrite ‘/usr/local/bin/docker-compose’? y
[root@node-253 opt]# chmod a+x /usr/local/bin/docker-compose
[root@node-253 opt]# docker-compose -v
Docker Compose version v2.17.2

5.2 部署harbor

//下载harbor压缩包
[root@harbor_node01 ~]# wget https://github.com/goharbor/harbor/releases/download/v2.4.3/harbor-offline-installer-v2.4.3.tgz
//把harbor解压至/usr/local目录下
[root@harbor_node01 ~]# tar xf harbor-offline-installer-v2.4.3.tgz -C /usr/local/
//进入harbor目录
[root@harbor_node01 ~]# cd /usr/local/harbor/
[root@harbor_node01 harbor]# ls
common.sh  harbor.v2.4.3.tar.gz  harbor.yml.tmpl  install.sh  LICENSE  prepare
//把配置文件模板拷贝一份出来
root@harbor_node01 harbor]# cp harbor.yml.tmpl harbor.yml
//查看当前主机的主机名全称
[root@harbor_node01 harbor]# hostname
harbor_node01.example.com
[root@harbor_node01 harbor]# vim harbor.yml
..........
hostname: harbor_node01.example.com		//这里的主机名换成本机的主机名或IP地址
.........
#https:									//把https这行及子行都注释掉，因为没有弄ssl证书加密
  # https port for harbor, default is 443
  #port: 443
  # The path of cert and key files for nginx
  #certificate: /your/certificate/path
  #private_key: /your/private/key/path
.........
//启动harbor
[root@harbor_node01 harbor]# ./install.sh
..........启动过程略.............
✔ ----Harbor has been installed and started successfully.----	 //显示此行说明启动成功！
//查看harbor运行起来的容器
[root@harbor_node01 harbor]# docker ps
CONTAINER ID   IMAGE                                COMMAND                  CREATED              STATUS                    PORTS                                   NAMES
1602065b6558   goharbor/nginx-photon:v2.4.3         "nginx -g 'daemon of…"   About a minute ago   Up 51 seconds (healthy)   0.0.0.0:80->8080/tcp, :::80->8080/tcp   nginx
807abe81e1e8   goharbor/harbor-jobservice:v2.4.3    "/harbor/entrypoint.…"   About a minute ago   Up 52 seconds (healthy)                                           harbor-jobservice
525886fff9b0   goharbor/harbor-core:v2.4.3          "/harbor/entrypoint.…"   About a minute ago   Up 53 seconds (healthy)                                           harbor-core
9d40e1cf4131   goharbor/harbor-db:v2.4.3            "/docker-entrypoint.…"   About a minute ago   Up 54 seconds (healthy)                                           harbor-db
e7405e5ba6b1   goharbor/registry-photon:v2.4.3      "/home/harbor/entryp…"   About a minute ago   Up 54 seconds (healthy)                                           registry
a86ae3d1848e   goharbor/redis-photon:v2.4.3         "redis-server /etc/r…"   About a minute ago   Up 54 seconds (healthy)                                           redis
814e2bfc178e   goharbor/harbor-registryctl:v2.4.3   "/home/harbor/start.…"   About a minute ago   Up 54 seconds (healthy)                                           registryctl
340de1da037f   goharbor/harbor-portal:v2.4.3        "nginx -g 'daemon of…"   About a minute ago   Up 54 seconds (healthy)                                           harbor-portal
c3eceadcb92b   goharbor/harbor-log:v2.4.3           "/bin/sh -c /usr/loc…"   About a minute ago   Up 59 seconds (healthy)   127.0.0.1:1514->10514/tcp               harbor-log
//查看启用的端口
[root@harbor_node01 harbor]# ss -anlt
State       Recv-Q       Send-Q             Local Address:Port             Peer Address:Port      Process
LISTEN      0            128                    127.0.0.1:1514                  0.0.0.0:*
LISTEN      0            128                      0.0.0.0:80                    0.0.0.0:*
LISTEN      0            128                      0.0.0.0:22                    0.0.0.0:*
LISTEN      0            128                         [::]:80                       [::]:*
LISTEN      0            128                         [::]:22                       [::]:*

浏览器访问：用户名与密码可在harbor.yml配置文件中找到，修改密码的话也在这里面改
admin/Harbor123456

5.3 部署harbor开机自启

[root@harbor_node01 ~]# vim /etc/rc.local
#!/bin/bash
cd /usr/local/harbor		//添加这行与下面一行
docker-compose start
[root@harbor_node01 ~]# ll /etc/rc.local
lrwxrwxrwx. 1 root root 13 Oct  5  2021 /etc/rc.local -> rc.d/rc.local
[root@harbor_node01 ~]# ll /etc/rc.d/rc.local
-rw-r--r--. 1 root root 516 Aug 11 21:17 /etc/rc.d/rc.local		//默认该文件无执行权限，需添加执行权限
//添加执行权限，否则该文件无法生效
[root@harbor_node01 ~]# chmod +x /etc/rc.d/rc.local
//重启主机验证配置的开机自启harbor的效果
[root@harbor_node01 ~]# reboot

//重启之后的效果，可以看到harbor开启成功
[root@harbor_node01 ~]# docker ps
CONTAINER ID   IMAGE                                COMMAND                  CREATED       STATUS                   PORTS                                   NAMES
1602065b6558   goharbor/nginx-photon:v2.4.3         "nginx -g 'daemon of…"   2 hours ago   Up 2 minutes (healthy)   0.0.0.0:80->8080/tcp, :::80->8080/tcp   nginx
807abe81e1e8   goharbor/harbor-jobservice:v2.4.3    "/harbor/entrypoint.…"   2 hours ago   Up 2 minutes (healthy)                                           harbor-jobservice
525886fff9b0   goharbor/harbor-core:v2.4.3          "/harbor/entrypoint.…"   2 hours ago   Up 2 minutes (healthy)                                           harbor-core
9d40e1cf4131   goharbor/harbor-db:v2.4.3            "/docker-entrypoint.…"   2 hours ago   Up 2 minutes (healthy)                                           harbor-db
e7405e5ba6b1   goharbor/registry-photon:v2.4.3      "/home/harbor/entryp…"   2 hours ago   Up 2 minutes (healthy)                                           registry
a86ae3d1848e   goharbor/redis-photon:v2.4.3         "redis-server /etc/r…"   2 hours ago   Up 2 minutes (healthy)                                           redis
814e2bfc178e   goharbor/harbor-registryctl:v2.4.3   "/home/harbor/start.…"   2 hours ago   Up 2 minutes (healthy)                                           registryctl
340de1da037f   goharbor/harbor-portal:v2.4.3        "nginx -g 'daemon of…"   2 hours ago   Up 2 minutes (healthy)                                           harbor-portal
c3eceadcb92b   goharbor/harbor-log:v2.4.3           "/bin/sh -c /usr/loc…"   2 hours ago   Up 2 minutes (healthy)   127.0.0.1:1514->10514/tcp               harbor-log

5.4 harbor安装脚本

ip=10.48.14.50
 
curl -L "https://get.daocloud.io/docker/compose/releases/download/1.25.0/docker-compose-$(uname -s)-$(uname -m)" -o /usr/local/bin/docker-compose
chmod +x /usr/local/bin/docker-compose
docker-compose --version
 
mkdir /usr/local/harbor && cd /usr/local/harbor
wget --continue https://storage.googleapis.com/harbor-releases/release-1.8.0/harbor-online-installer-v1.8.1.tgz
tar -zxf harbor-online-installer-v1.8.1.tgz
cd harbor
sed -i 's/hostname: reg.mydomain.com/hostname: '$ip'/g' harbor.yml
./prepare
./install.sh
docker-compose ps
 
#配置免https验证
cat > /etc/docker/daemon.json <<EOF
{
  "registry-mirrors": ["https://uvbz951q.mirror.aliyuncs.com"],
  "exec-opts": ["native.cgroupdriver=systemd"],
  "insecure-registries": ["10.48.14.50:8888"]
}
EOF
 
systemctl daemon-reload
systemctl restart docker
docker-compose stop
docker-compose up -d

5.5 harbor核心服务不可用

报错：pgsql.conf permission denied，failed to connect to tcp://postgresql:5432

#harbor报错时访问下面路径，根据日志信息分析排错。
[root@node4 database]# cd /var/log/harbor/
[root@node4 harbor]# ls
core.log  jobservice.log  portal.log  postgresql.log  proxy.log  redis.log  registryctl.log  registry.log

解决

[root@node4 ~]# cd /data/database/
[root@node4 database]# ls
pg13

chown -R polkitd:input pg13
chmod -R 700 pg13

#如果还不行则重启harbor所有服务
cd /harbor-haproxy-sslFile
docker-compose down
./prepare
docker-compose up -d

6. harbor应用

6.1 配置客户端访问harbor

启用另一台docker主机作为客户端来访问harbor

//将harbor服务端的主机域名进行映射
[root@localhost ~]# vim /etc/hosts
192.168.71.253	node-253 //添加harbor服务端的IP地址与主机名
//测试是否能与harbor端ping通
[root@localhost ~]# ping -c 2 node-253
PING harbor_node01.example.com (192.168.92.130) 56(84) bytes of data.
64 bytes from harbor_node01.example.com (192.168.92.130): icmp_seq=1 ttl=64 time=0.322 ms
64 bytes from harbor_node01.example.com (192.168.92.130): icmp_seq=2 ttl=64 time=0.696 ms

--- harbor_node01.example.com ping statistics ---
2 packets transmitted, 2 received, 0% packet loss, time 1028ms
rtt min/avg/max/mdev = 0.322/0.509/0.696/0.187 ms
//使用insecure-registries参数添加http支持
[root@node-252 ~]# cat /etc/docker/daemon.json
{
  "registry-mirrors": ["https://3s9106.mirror.alncs.com"],
  "insecure-registries": ["192.168.71.253"]
}
[root@localhost ~]# systemctl daemon-reload
[root@localhost ~]# systemctl restart docker

//登录到harbor
[root@localhost ~]# docker login 192.168.71.253
Username: admin		//输入harbor的用户名
Password:			//输入harbor的密码
WARNING! Your password will be stored unencrypted in /root/.docker/config.json.
Configure a credential helper to remove this warning. See
https://docs.docker.com/engine/reference/commandline/login/#credentials-store

Login Succeeded
//修改镜像名与标签，把该镜像上传至harbor的library项目里
[root@localhost ~]# docker images
REPOSITORY   TAG       IMAGE ID       CREATED        SIZE
busybox      latest    beae173ccac6   7 months ago   1.24MB
[root@localhost ~]# docker tag busybox:latest 192.168.92.130/library/busybox:v0.1
[root@localhost ~]# docker images
REPOSITORY                                  TAG       IMAGE ID       CREATED        SIZE
busybox                                     latest    beae173ccac6   7 months ago   1.24MB
192.168.92.130/library/busybox   v0.1      beae173ccac6   7 months ago   1.24MB
[root@localhost ~]# docker push 192.168.92.130/library/busybox:v0.1
The push refers to repository [192.168.92.130/library/busybox]
01fd6df81c8e: Pushed
v0.1: digest: sha256:62ffc2ed7554e4c6d360bce40bbcf196573dd27c4ce080641a2c59867e732dee size: 527

6.2 harbor的web管理界面

在harbor的web管理页面，进入library项目，查看是否上传成功。在这里我们可以创建项目，以及对项目里面的镜像进行管理

点击【推送命令】，即可看到官方推送镜像的各种容器服务的命令语法

点击【用户管理】，随后可以【创建用户】以及对用户进行授权或重置密码或删除用户的操作

用户添加完成后，将其加入项目

填写用户名与赋予权限(角色)，权限设置为开发人员。

如下图所示，可以看到该用户已加入到此项目。admin是管理员权限，yurq是开发者。

目前我是admin用户，对此项目拥有管理员权限，可以删除此项目，也可以在项目中加入或移除用户。

点击左侧的【仓库管理】，随后可以【新建目标】来远程管理其它的仓库服务，可选的仓库服务类型有以下之多

接着演示添加一个仓库服务。选择仓库类型为【DOcker Hub】，指定仓库名为【Docker Hub】，由于是docker的官方仓库，所以URL不用手动填，访问id与访问密码就填自己在Docke Hub注册的用户名与密码即可。由于这是官方仓库所以可以勾选上【验证远程证书】，如果远程实例使用的是’自签’的或’非信任证书’那么请取消勾选此选项。

7. K8s containerd对接harbor

在K8s较新的版本，更换了容器引擎containerd，下面我们来配置containerd对接harbor

harbor建议还是配置https,没有配置的https的情况，目前来看不太容易对接

7.1 harbor自签证书配置https

[root@node-134 harbor]# openssl genrsa -out ca.key 4096
[root@node-134 harbor]# openssl req -x509 -new -nodes -sha512 -days 3650  -subj "/CN=harbor.yh.com"  -key ca.key  -out ca.crt
[root@node-134 harbor]# openssl genrsa -out server.key 4096
[root@node-134 harbor]# openssl req  -new -sha512  -subj "/CN=harbor.yh.com"  -key server.key  -out  server.csr
[root@node-134 harbor]# cat certs/v3.ext
authorityKeyIdentifier=keyid,issuer
basicConstraints=CA:FALSE
keyUsage = digitalSignature, nonRepudiation, keyEncipherment,dataEncipherment
extendedKeyUsage = serverAuth
subjectAltName = @alt_names
[alt_names]
DNS.1=harbor.yh.com
[root@node-134 harbor]# pwd
/usr/local/harbor
[root@node-134 harbor]# openssl x509 -req -sha512 -days 3650 -extfile v3.ext -CA ca.crt -CAkey ca.key -CAcreateserial -in server.csr -out server.crt
Signature ok
subject=/CN=harbor.yh.com
Getting CA Private Key
[root@node-134 harbor]# ll certs/
total 28
-rw-r--r-- 1 root root 1797 Jul 25 23:54 ca.crt
-rw-r--r-- 1 root root 3243 Jul 25 23:54 ca.key
-rw-r--r-- 1 root root   17 Jul 25 23:55 ca.srl
-rw-r--r-- 1 root root 1834 Jul 25 23:55 server.crt
-rw-r--r-- 1 root root 1590 Jul 25 23:54 server.csr
-rw-r--r-- 1 root root 3243 Jul 25 23:54 server.key
-rw-r--r-- 1 root root  237 Jul 25 23:16 v3.ext

$vim harbor.yml 
hostname: harbor.yh.com

# http related config
http:
  # port for http, default is 80. If https enabled, this port will redirect to https port
  port: 8080

# https related config
https:
  # https port for harbor, default is 443
  port: 443
  # The path of cert and key files for nginx
  certificate: /data/server/harbor/certs/server.crt
  private_key: /data/server/harbor/certs/server.key
  
./prepare 
docker-compose down
docker-compose up -d
ss -lntup|egrep '80|443'
tcp    LISTEN     0      128    [::]:80                 [::]:*                   users:(("docker-proxy",pid=130988,fd=4))
tcp    LISTEN     0      128    [::]:443                [::]:*                   users:(("docker-proxy",pid=130962,fd=4))

harbor.yml

[root@node-134 harbor]# egrep -v "^ *#|^$" harbor.yml
hostname: harbor.yh.com
http:
  port: 80
https:
  port: 443
  certificate: /usr/local/harbor/certs/server.crt
  private_key: /usr/local/harbor/certs/server.key
harbor_admin_password: Harbor12345
database:
  password: root123
  max_idle_conns: 100
  max_open_conns: 900
data_volume: /data
trivy:
  ignore_unfixed: false
  skip_update: false
  offline_scan: false
  insecure: false
jobservice:
  max_job_workers: 10
notification:
  webhook_job_max_retry: 10
chart:
  absolute_url: disabled
log:
  level: info
  local:
    rotate_count: 50
    rotate_size: 200M
    location: /var/log/harbor
_version: 2.4.0
proxy:
  http_proxy:
  https_proxy:
  no_proxy:
  components:
    - core
    - jobservice
    - trivy

#查看证书是否过期
[root@node-128 home]# openssl x509 -in /etc/ssl/certs/server.crt  -noout -dates
notBefore=Jul 26 05:55:47 2023 GMT
notAfter=Jul 23 05:55:47 2033 GMT

7.2 containerd对接harbor(在所有节点上操作)

• nerdctl 安装

[21:29:54 root@c7-3~]#containerd --version
containerd containerd.io 1.6.8 9cd3357b7fd7218e4aec3eae239db1f68a5a6ec6
wget https://github.com/containerd/nerdctl/releases/download/v0.22.2/nerdctl-0.22.2-linux-amd64.tar.gz
tar -zxvf nerdctl-0.22.2-linux-amd64.tar.gz
mv nerdctl /usr/local/bin

• 安装 CNI 插件

wget https://github.com/containernetworking/plugins/releases/download/v1.1.1/cni-plugins-linux-amd64-v1.1.1.tgz
mkdir -p /opt/cni/bin
tar zxvf cni-plugins-linux-amd64-v1.1.1.tgz -C /opt/cni/bin/

• 对接harbor

此处的server.crt拷贝自证书制作机器文章来源地址https://www.toymoban.com/news/detail-625492.html

scp node-134:/usr/local/harbor/certs/server.crt .
yum install -y ca-certificates
cp -a server.crt /etc/pki/ca-trust/source/anchors/ 
ln -s /etc/pki/ca-trust/source/anchors/server.crt /etc/ssl/certs/
update-ca-trust    
[root@node-128 home]# nerdctl login -u admin harbor.yh.com
Enter Password:
WARNING: Your password will be stored unencrypted in /root/.docker/config.json.
Configure a credential helper to remove this warning. See
https://docs.docker.com/engine/reference/commandline/login/#credentials-store

Login Succeeded

到了这里，关于harbor（docker仓库）仓库部署的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！