Harbor部署--使用 Harbor 安装包

Harbor安装准备条件

这里以 harbor 2.8.3 版本为例

1.1 硬件要求

Harbor 安装对硬件资源CPU、内存和硬盘的要求如下表：

资源	最小要求	推荐配置
CPU	2 CPU	4 CPU
Mem	4 GB	8 GB
Disk	40 GB	160 GB

使用如下命令分别查看服务器的物理CPU和逻辑CPU个数

# 查看物理CPU个数
cat /proc/cpuinfo |grep "physical id"|sort |uniq|wc -l
 
# 查看逻辑CPU个数
cat /proc/cpuinfo |grep "processor"|wc -l
 
# 查看内存
free -h
 
# 查看地盘
df -h

1.2 软件要求

harbor 2.8.3 版本对docker、docker-compose等软件的要求

软件	版本号
docker	17.06.0-ce 及以上
docker-compose	1.18.0 及以上
openssl

docker, docker-compose安装参考: CentOS下 Docker、Docker Compose 的安装教程_centos安装docker-compose-CSDN博客
nginx安装参考: CentOS7安装Nginx(tar包安装)_nginx tar-CSDN博客

1.3 网络端口要求

harbor 2.8.3 版本对网络端口的要求如下表

端口	协议	描述
443	https	https端口，可以从配置文件中修改
4443	https	当notary打开时使用，否则不需要使用，可以通过配置文件修改
80	http	http端口，可以从配置文件中修改

下载 Harbor 的安装包文件

2.1 Harbor 安装包分类

Harbor 的安装文件分为在线安装包和离线安装包

• 在线安装包：
  在线安装包从 docker Hub 下载镜像，因此安装包文件比较小，适用于安装服务器能联网的场景下
• 离线安装包：
  离线安装包包含了预先编译好的镜像文件，因此安装文件较大，适用于安装服务器未联网的场景下

2.2 下载并解压安装包

(1) 打开 Harbor发布网站 挑选合适的版本，比如这里选择 v2.8.3 版本，点击 【v2.8.3】，进入发布附件页面，如下：

(2) 选择版本，如果服务器能联网，则右键复制链接，如果服务器不能联网，则只能点击下载，然后手工将安装包上传至服务器

(3) 如服务器能联网，则到服务器直接使用wget 下载，命令如下：

# 下载在线安装版
wget https://github.com/goharbor/harbor/releases/download/v2.8.3/harbor-online-installer-v2.8.3.tgz
 
# 下载离线安装版
wget https://github.com/goharbor/harbor/releases/download/v2.8.3/harbor-offline-installer-v2.8.3.tgz

(4) 解压

# 解压在线安装版
tar -xf harbor-online-installer-v2.8.3.tgz
 
# 解压离线安装版
tar -xf harbor-offline-installer-v2.8.3.tgz

配置安装 Harbor

3.1 配置域名和数据存储路径

配置 harbor 的域名，如果内部的不用域名，可以直接设置主机名或者IP

# The IP address or hostname to access admin UI and registry service.
# DO NOT use localhost or 127.0.0.1, because Harbor needs to be accessed by external clients.
# hostname: www.rpp-harbor.com
hostname: www.k8s-harbor.com

# 数据存储路径
data_volume: /data/harbor

use:

$. vi /etc/hosts
192.168.31.151 k8s-harbor

3.2 安装基于 http 协议访问的默认的 Harbor

(如果配置基于https协议，可直接跳到3.6)

一般在内网的情况下，可以直接使用 http 的方式访问，这种方式安装部署方式相对比较简单，在 harbor 压缩包解压后有一个 harbor 文件夹，进入

[root@redrose2100 online]# ls
harbor harbor-online-installer-v2.8.3.tgz
[root@redrose2100 online]# mv harbor /usr/local
[root@redrose2100 online]# cd /usr/local/harbor
[root@redrose2100 harbor]# ls
common.sh harbor.yml.tmpl install.sh LICENSE prepare
[root@redrose2100 harbor]#

可以发现 harbor 文件夹中有一个 harbor.yml.tmpl文件，将其文件名修改为 harbor.yml

[root@redrose2100 harbor]# cp harbor.yml.tmpl harbor.yml
[root@redrose2100 harbor]# ll
总用量 598692
-rw-r--r-- 1 root root      3639 7月  27 14:00 common.sh
-rw-r--r-- 1 root root 613010641 7月  27 14:01 harbor.v2.8.3.tar.gz
-rw-r--r-- 1 root root     11736 8月   4 15:10 harbor.yml
-rw-r--r-- 1 root root     11736 7月  27 14:00 harbor.yml.tmpl
-rwxr-xr-x 1 root root      2725 7月  27 14:00 install.sh
-rw-r--r-- 1 root root     11347 7月  27 14:00 LICENSE
-rwxr-xr-x 1 root root      1881 7月  27 14:00 prepare

[root@redrose2100 harbor]#

然后编辑通过 vi harbor.yml 编辑 harbor.yml 文件

3.2.1 配置 http 的端口

默认是 80，这里修改为 10001

vi harbor.yml

# http related config
http:
# port for http, default is 80. If https enabled, this port will redirect to https port
port: 10001

3.2.2 注释 https 配置

暂时可以先将 https 配置注释

vi harbor.yml

# https related config
#https:
# https port for harbor, default is 443
#port: 443
# The path of cert and key files for nginx
#certificate: /your/certificate/path
#private_key: /your/private/key/path

3.3 配置 admin 用户的密码

默认密码是Harbor12345，这里可以修改自己的密码

# The initial password of Harbor admin
# It only works in first time to install harbor
# Remember Change the admin password from UI after launching Harbor.
harbor_admin_password: Harbor12345

3.3.3 执行安装 harbor 的脚本

默认安装命令没有启用 Notary, Trivy 和 Chart Repository Service。

• Notary：镜像签名认证
• Trivy： 容器漏洞扫描
• Chart Repository Service： Helm chart 仓库服务

其他配置暂时保持默认配置，执行瑞安脚本即可。

# Please set --with-notary if needs enable Notary in Harbor, and set ui_url_protocol/ssl_cert/ssl_cert_key in harbor.yml bacause notary must run under https.
# Please set --with-trivy if needs enable Trivy in Harbor.
# Please do NOT set --with-chartmuseum, as chartmusuem has been deprecated and removed.

# 默认配置安装(use)
# 注意：安装完成后，重新执行此脚本会导致重新安装，这会导致已经被创建的容器被删掉
./install.sh

# 安装镜像签名(带上 —with-notary 参数即可)
./install.sh --with-notar

# 安装扫描器(带上 --with-trivy 参数即可)
./install.sh --with-trivy

# 安装 Chart Repository 服务(带上 --with-chartmuseum 参数即可)
./install.sh --with-chartmuseum

# 同时安装签名、扫描器、Chart Repository 服务 
./install.sh --with-notary --with-trivy --with-chartmuseum

安装完成后，在浏览器打开 http://harbor.redrose210.com 即可打开 harbor 的页面了。

# use: http://192.168.31.151:10001
登录名称/密码: admin/Harbor12345

3.3.4 修改 docker 配置文件

安装完成 harbor 后，因为此时使用的是 http 协议，此时需要在 docker 的配置文件 /etc/docker/daemon.json 中增加如下内容：

"insecure-registries":["www.k8s-harbor.com"],

完整的内容如下所示：

[root@redrose2100 harbor]# cat /etc/docker/daemon.json
{
    "exec-opts":["native.cgroupdriver=systemd"],
    "registry-mirrors":[
        "https://ooe7wn09.mirror.aliyuncs.com",
        "https://registry.docker-cn.com",
        "http://hub-mirror.c.163.com",
        "https://docker.mirrors.ustc.edu.cn"
    ],
    "insecure-registries":["www.k8s-harbor.com:10001"],
    "dns": ["114.114.114.114", "8.8.8.8"]
}

# use
{
    "exec-opts":["native.cgroupdriver=systemd"],
    "registry-mirrors":[
        "https://ooe7wn09.mirror.aliyuncs.com",
        "https://registry.docker-cn.com",
        "http://hub-mirror.c.163.com",
        "https://docker.mirrors.ustc.edu.cn"
    ],
    "insecure-registries":["k8s-harbor:10001"],
    "dns": ["114.114.114.114"]
}

然后重启 docker

systemctl restart docker

再重启 harbor , 在 harbor 文件夹中执行如下两条命令

# 停止 harbor
docker-compose stop
 
# 启动 harbor
docker-compose up -d

# 查看状态
docker-compose ps

# 删除服务容器(容器)
docker-compose down -v 

3.3.5 验证 harbor

# 修改 hello-world 镜像的 tag 值
docker tag hello-world:latest www.k8s-harbor.com/redrose2100/hello-world:latest
#use 
 
# 登录 harbor, 此处报错参考3.12章节
docker login www.k8s-harbor.com -u admin -p xxxx(harbor的密码)
# use
docker login k8s-harbor:10001 -u admin -p Harbor12345 

# 推送镜像
docker push www.k8s-harbor.com/redrose2100/hello-world:latest
# use 
# library: 项目名称, 需要首先通过docker tag命令将镜像地址调整下
$. docker tag harbor.tzncloud.com/proxy_docker_hub/adoptopenjdk/openjdk11:jre-11.0.12_7-alpine k8s-harbor:10001/library/openjdk11:jre-11.0.12_7-alpine
$. docker tag harbor.tzncloud.com/proxy_docker_hub/adoptopenjdk/openjdk11:jre-11.0.12_7-alpine k8s-harbor:10001/my-project/openjdk11:jre-11.0.12_7-alpine
$. docker push k8s-harbor:10001/library/openjdk11:jre-11.0.12_7-alpine
$. docker push k8s-harbor:10001/my-project/openjdk11:jre-11.0.12_7-alpine

然后到页面上，可以发现，此时镜像已经推送到 harbor 了

至此，最简单的基于http协议访问的默认的harbor已经安装完成了。

3.4 运维命令

3.4.1 启动和重启

Harbor的日常运维管理是通过docker-compose来完成的，Harbor本身有多个服务进程，都放在docker容器中运行，可以通过docker ps命令查看。

# 切换到harbor安装目录
cd /usr/local/harbor

# 查看Harbor
docker-compose ps

# 启动Harbor
# docker-compose start 会报错
docker-compose up -d 

# 停止Harbor
docker-compose stop

# 重启Harbor
docker-compose restart

如果是用 docker-compose start 会报错：
ERROR: for nginx UnixHTTPConnectionPool(host='localhost', port=None): Read timed out. (read timeout=60)
ERROR: for harbor-log UnixHTTPConnectionPool(host='localhost', port=None): Read timed out. (read timeout=60)
ERROR: An HTTP request took too long to complete. Retry with --verbose to obtain debug information.
因此使用 docker-compose up -d 启动

3.4.2 命令行登录

highlighter- code-theme-dark CSS

docker login 192.168.31.10 -u admin -p Harbor12345

第一次登录都会报错：Error response from daemon: Get "https://192.168.31.10/v2/": dial tcp 10.130.77.48:443: connect: no route to host
原因：Docker自从 1.3.X之后 docker registry交互默认使用的是HTTPS，但是我们搭建私有镜像默认使用的是HTTP服务，所以与私有镜像交时出现以上错误。
解决：修改Docker的配置文件/etc/docker/daemon.json ：

$. vi /etc/docker/daemon.json 
{
    "registry-mirrors": ["https://k728i8z5.mirror.aliyuncs.com"],
    # 如更改过harbor.yml的http端口需要加上端口号
    #"insecure-registries":["192.168.10.10:80"]
    # use
    "insecure-registries":["k8s-harbor:10001"]    
}

# 然后依次执行如下命令：
systemctl daemon-reload
systemctl restart docker
docker-compose up -d

3.4.3 开机自启动

配置文件

vi /etc/systemd/system/harbor.service

[Unit]
Description=Harbor
After=docker.service systemd-networkd.service systemd-resolved.service
Requires=docker.service
Documentation=http://github.com/vmware/harbor
[Service]
Type=simple
Restart=on-failure
RestartSec=5
ExecStart=/usr/local/bin/docker-compose -f /usr/local/harbor/docker-compose.yml up
ExecStop=/usr/local/bin/docker-compose -f /usr/local/harbor/docker-compose.yml stop
[Install]
WantedBy=multi-user.target

配置权限

chmod 755 /etc/systemd/system/harbor.service

开启开机自启

systemctl daemon-reload
systemctl enable harbor
systemctl start harbor
systemctl stop harbor
systemctl status harbor

验证

reboot
systemctl status harbor

3.4.4 更新Harbor

# 重新安装(harbor相关容器会被删除,数据可能会丢失)
./install.sh

# 重新编译配置文件(数据会丢失)
./prepare
docker-compose down -v
docker-compose up -d

3.4.5 日志

# 默认日志位置(配置见harbor.yaml文件)
/var/log/harbor

3.5 上传和下载镜像

3.5.1 客户端拉取镜像

docker pull nginx

3.5.2 客户端将镜像打tag

# 命令格式：docker tag SOURCE_IMAGE[:TAG] harbor/library/IMAGE[:TAG]
docker tag nginx:latest 192.168.10.10/library/nginx:latest

3.5.3 客户端push镜像之前，先登录服务端

docker login 192.168.10.10:10001 -u admin -p Harbor12345

3.5.4 客户端push

# push命令格式： docker push harbor/library/IMAGE[:TAG]
docker push 192.168.10.10/library/nginx:latest

3.6 配置 https 访问 Harbor

前提：

• 拥有一个域名
• 域名A解析指向本地Harbor服务器地址
• 申请子域SSL证书（nginx类型）

在生产环境，需要从CA获取证书，在测试环境，可以通过openssl生成CA证书以及通过CA生成服务端证书和客户端证书
如下假设harbor的域名为： www.k8s-harbor.com

3.6.1 配置生成CA证书

总示意图：

通过openssl创建CA证书

• 第一步：创建一个秘钥，这个便是CA证书的根本，之后所有的东西都来自这个秘钥

# 设置证书的放置目录
mkdir /usr/local/ssl -p
cd /usr/local/ssl

# 通过rsa算法生成2048位长度的秘钥
openssl genrsa -out myCA.key 2048

• 第二步：是通过秘钥加密机构信息形成公钥

# 公钥包含了机构信息，在输入下面的指令之后会有一系列的信息输入，
# 这些信息便是机构信息，公司名称地址什么的
# 这里还有一个过期信息，CA证书也会过期，openssl默认是一个月，这里设置为10年
openssl req -new -x509 -key myCA.key -out myCA.cer -days 3650

执行命令过程如下图所示：

参数名称	参数值
Country Name	国家代码，比如中国就是CN
State or Province Name	省名称
Locality Name	城市名称
Organization Name	机构名称
Organizational Unit Name	机构单位名称
Common Name	重点参数：授权给什么，因为机构是根节点所以是授权给自己
Email Address	邮件地址

创建服务器证书

在得到CA证书之后，需要通过 openssl工具对证书进行转换得到公钥（ .crt文件）和密钥（ .key文件），无论CA证书是怎么来的到这里之后就没有任何区别了，服务器证书的制作流程相较CA证书要复杂一点点。

• 第一步：通过openssl工具创建服务器的秘钥

# 通过RSA算法生成长度2048位的秘钥
openssl genrsa -out server.key 2048

• 第二步：这里是创建一个签名请求

首先 https证书的公钥不同于自定义情况下的加密证书，这里需要安装浏览器标准进行配置，首先 openssl默认的证书版本是V1，V1在支持 https时部分浏览器依旧会认为不安全，所以需要使用V3版本；同时 openssl即便是使用V3版本依旧没有附带V3的 subjectAltName字段数据（这里是证书对应的IP地址或者域名，可以用通配符）。但是这些东西命令行没法指定所以需要配置文件，我这里准备了一个：
创建 openssl.cnf 文件( vi openssl.cnf )，并添加如下内容：

tsa_policy2 = 1.2.3.4.5.6
tsa_policy3 = 1.2.3.4.5.7
[ ca ]
default_ca = CA_default  # The default ca section
[ CA_default ]
dir  = ./demoCA  # Where everything is kept
certs  = $dir/certs  # Where the issued certs are kept
crl_dir  = $dir/crl  # Where the issued crl are kept
database = $dir/index.txt # database index file.
new_certs_dir = $dir/newcerts  # default place for new certs.
certificate = $dir/cacert.pem  # The CA certificate
serial  = $dir/serial   # The current serial number
crlnumber = $dir/crlnumber # the current crl number
crl  = $dir/crl.pem   # The current CRL
private_key = $dir/private/cakey.pem# The private key
RANDFILE = $dir/private/.rand # private random number file
x509_extensions = usr_cert  # The extentions to add to the cert
name_opt  = ca_default  # Subject Name options
cert_opt  = ca_default  # Certificate field options
default_days = 365   # how long to certify for
default_crl_days= 30   # how long before next CRL
default_md = default  # use public key default MD
preserve = no   # keep passed DN ordering
policy  = policy_match
[ policy_match ]
countryName  = match
stateOrProvinceName = match
organizationName = match
organizationalUnitName = optional
commonName  = supplied
emailAddress  = optional
[ policy_anything ]
countryName  = optional
stateOrProvinceName = optional
localityName  = optional
organizationName = optional
organizationalUnitName = optional
commonName  = supplied
emailAddress  = optional
[ req ]
default_bits  = 1024
default_keyfile  = privkey.pem
distinguished_name = req_distinguished_name
attributes  = req_attributes
x509_extensions = v3_ca # The extentions to add to the self signed cert
string_mask = utf8only
req_extensions = v3_req # The extensions to add to a certificate request
[ req_distinguished_name ]
countryName   = Country Name (2 letter code)
countryName_default  = CN
countryName_min   = 2
countryName_max   = 2
stateOrProvinceName  = State or Province Name (full name)
stateOrProvinceName_default = BeiJing
localityName   = Locality Name (eg, city)
0.organizationName  = Organization Name (eg, company)
0.organizationName_default = myca
organizationalUnitName  = Organizational Unit Name (eg, section)
commonName   = Common Name (e.g. server FQDN or YOUR name)
commonName_max   = 64
emailAddress   = Email Address
emailAddress_max  = 64
[ req_attributes ]
challengePassword  = A challenge password
challengePassword_min  = 4
challengePassword_max  = 20
unstructuredName  = An optional company name
[ usr_cert ]
basicConstraints=CA:FALSE
nsCertType = client, email, objsign
keyUsage = nonRepudiation, digitalSignature, keyEncipherment
nsComment   = "OpenSSL Generated Certificate"
subjectKeyIdentifier=hash
authorityKeyIdentifier=keyid,issuer
[ svr_cert ]
basicConstraints=CA:FALSE
nsCertType   = server
keyUsage = nonRepudiation, digitalSignature, keyEncipherment, dataEncipherment, keyAgreement
subjectKeyIdentifier=hash
authorityKeyIdentifier=keyid,issuer
extendedKeyUsage = serverAuth,clientAuth
[ v3_req ]
subjectAltName = @alt_names
# 这里是重点，需要将里面配置为最终服务端需要的域名或者IP
# 这里可以写多个，能够自行添加DNS.X = XXXXXX, 支持通配符
[ alt_names ]
DNS.1 = www.k8s-harbor.com
DNS.2 = k8s-harbor.com
[ v3_ca ]
subjectKeyIdentifier=hash
authorityKeyIdentifier=keyid:always,issuer
basicConstraints = CA:true
[ crl_ext ]
authorityKeyIdentifier=keyid:always
[ proxy_cert_ext ]
basicConstraints=CA:FALSE
nsComment   = "OpenSSL Generated Certificate"
subjectKeyIdentifier=hash
authorityKeyIdentifier=keyid,issuer
proxyCertInfo=critical,language:id-ppl-anyLanguage,pathlen:3,policy:foo
[ tsa ]
default_tsa = tsa_config1 # the default TSA section
[ tsa_config1 ]
dir  = ./demoCA  # TSA root directory
serial  = $dir/tsaserial # The current serial number (mandatory)
crypto_device = builtin  # OpenSSL engine to use for signing
signer_cert = $dir/tsacert.pem  # The TSA signing certificate
     # (optional)
certs  = $dir/cacert.pem # Certificate chain to include in reply
     # (optional)
signer_key = $dir/private/tsakey.pem # The TSA private key (optional)
default_policy = tsa_policy1  # Policy if request did not specify it
     # (optional)
other_policies = tsa_policy2, tsa_policy3 # acceptable policies (optional)
digests  = md5, sha1  # Acceptable message digests (mandatory)
accuracy = secs:1, millisecs:500, microsecs:100 # (optional)
clock_precision_digits  = 0 # number of digits after dot. (optional)
ordering  = yes # Is ordering defined for timestamps?
    # (optional, default: no)
tsa_name  = yes # Must the TSA name be included in the reply?
    # (optional, default: no)
ess_cert_id_chain = no # Must the ESS cert id chain be included?
    # (optional, default: no)

将上面的配置内容保存为openssl.cnf放到生成的服务器证书文件的目录下（注意：修改alt_names里面的域名或者IP为最终部署需要的地址，支持通配符），然后执行创建签名申请文件即可，执行运行：

注意：在 openssl.conf中一定要加有关的域名，然后生成对应服务器的证书的时候也使用域名就可以实现正常的访问了。

# 和创建CA时一样这里需要输入一堆服务器信息，输入项也是相同的。
# 不过在输入Common Name（CN）最好直接输入服务器的IP地址或者域名。
openssl req -config openssl.cnf -new -out server.req -key server.key 

执行命令过程如下图所示：

• 第三步：通过CA机构证书对服务器证书进行签名认证

这里服务器的公钥是由CA证书的密钥配对加密来的。

# 这里本质上就是将签名请求文件进行签名最终得到服务器的公钥
openssl x509 -req \
-extfile openssl.cnf \
-extensions v3_req \
-CAkey myCA.key \
-CA myCA.cer \
-days 3650 \
-in server.req \
-out server.cer \
-CAcreateserial -CAserial serial

将 cer证书转成crt证书，命令如下:
(pem证书文件与crt证书文件可以直接通过改名互换, 例如: ca.pem <-> ca.crt)

openssl x509 -inform PEM -in server.cer -out server.crt

再将crt证书转成cert证书,命令如下:

openssl x509 -inform PEM -in server.crt -out server.cert

浏览器添加证书

打开 "设置" --》 "隐私和安全" --》"安全" --》“管理设备证书”--》"受信任的根证书颁发机构" --》"导入"，最终导入 myCA.cer 证书文件即可。
导入成功后，可在 "受信任的根证书颁发机构"列表查看到该证书。

3.6.2 修改 harbor.yml 配置文件

修改harbor.yml配置 (位于/usr/local/harbor)，开启 https 配置。

如下前面部署 http 模式的时候将https的部分注释了，这里要将 https 的配置放开注释，而且修改证书的文件路径，如下所示:
vi harbor.yml

# Configuration file of Harbor

# The IP address or hostname to access admin UI and registry service.
# DO NOT use localhost or 127.0.0.1, because Harbor needs to be accessed by external clients.
hostname: harbor.ninexch.com #更改为本地解析IP的域名

# http related config
http:
  # port for http, default is 80. If https enabled, this port will redirect to https port
  port: 80
# https related config
https: #开启Https
  # https port for harbor, default is 443
  port: 443 #开启端口
  # The path of cert and key files for nginx
  certificate: /data/cert/server.crt #指定SSL公有证书
  private_key: /data/cert/server.key #指定SSL私有证书

然后执行如下命令更新 harbor

# 重新安装(harbor相关容器会被删除,数据正常不会丢失)
./install.sh

# 重新编译配置文件(数据会丢失) -- no use
./prepare
docker-compose down -v
docker-compose up -d

3.6.3 为 harbor 和 docker 颁发证书

(1) 将服务端证书拷贝至 /data/cert/目录下

mkdir -p /data/cert/
cp server.crt /data/cert/
cp server.key /data/cert/

(2) 将 server.crt 文件拷贝到docker的证书目录下，注意替换为自己的域名

mkdir -p /etc/docker/certs.d/www.k8s-harbor.com/
cp server.crt /etc/docker/certs.d/www.k8s-harbor.com/

这里需要注意的是，如果nginx中对https没有使用默认的443端口，修改为其他端口了，则此时的需要创建的目录为：/etc/docker/certs.d/yourdomain.com:port, 或者 /etc/docker/certs.d/harbor_IP:port

(3) 重启docker

systemctl restart docker

3.6.4 为containerd配置证书

拷贝证书

将服务端证书拷贝至 /etc/containerd/harbor/k8s-harbor.com/目录下

mkdir -p /etc/containerd/harbor/k8s-harbor.com/
cp myCA.crt /etc/containerd/harbor/k8s-harbor.com/
cp server.cert /etc/containerd/harbor/k8s-harbor.com/
cp server.key /etc/containerd/harbor/k8s-harbor.com/

修改containerd配置

通过修改配置文件接入私有仓库

config.toml文件配置, vi /etc/containerd/config.toml:

# 配置片段
...
[plugins."io.containerd.grpc.v1.cri".registry]
  config_path = ""

  [plugins."io.containerd.grpc.v1.cri".registry.auths]

  [plugins."io.containerd.grpc.v1.cri".registry.configs]
    [plugins."io.containerd.grpc.v1.cri".registry.configs."k8s-harbor.com".tls]
      insecure_skip_verify = false # 证书校验
      ca_file = "/etc/containerd/harbor/k8s-harbor.com/myCA.crt"
      cert_file = "/etc/containerd/harbor/k8s-harbor.com/server.cert"
      key_file = "/etc/containerd/harbor/k8s-harbor.com/server.key"
    [plugins."io.containerd.grpc.v1.cri".registry.configs."k8s-harbor.com".auth]
      #username = 'admin'
      #password = 'Harbor12345'
      username = 'robot$permission_pro+prorobot'     # 私有仓库用户名
      password = 'e9pMSa53fZ081E8tVIWXI3pmRioyXT5z'  # 私有仓库密码
  [plugins."io.containerd.grpc.v1.cri".registry.headers]

  [plugins."io.containerd.grpc.v1.cri".registry.mirrors]
    [plugins."io.containerd.grpc.v1.cri".registry.mirrors."docker.io"]
      endpoint = ["https://docker.mirrors.ustc.edu.cn"]
    [plugins."io.containerd.grpc.v1.cri".registry.mirrors."k8s-harbor.com"]
      endpoint = ["https://k8s-harbor.com"] # https方式访问
[plugins."io.containerd.grpc.v1.cri".x509_key_pair_streaming]
  tls_cert_file = ""
  tls_key_file = ""
...

配置完成后测试:

systemctl restart containerd

crictl pull k8s-harbor.com/permission_pro/spring-boot-docker2:0.0.1-SNAPSHOT

3.6.5 Nginx 配置 https

修改 nginx.conf 配置，增加监听 443 端口的，跳转到harbor的8443端口，此外在这里需要指定证书文件的路径

server {
    listen 443 ssl;
    server_name www.k8s-harbor.com;
     
    ssl_certificate /data/cert/server.crt;
    ssl_certificate_key /data/cert/server.key;
    ssl_protocols TLSv1 TLSv1.1 TLSv1.2;
    ssl_ciphers ECDHE-RSA-AES128-GCM-SHA256:HIGH:!aNULL:!MD5:!RC4:!DHE;
     
    ssl_session_cache shared:SSL:1m;
    ssl_session_timeout 5m;
 
    location / {
        client_max_body_size 1024M;
        client_body_buffer_size 1024M;
        proxy_redirect off;
        proxy_pass https://172.22.27.162:8443;
         
        proxy_set_header Host $host;
         
        proxy_set_header X-Real-IP $remote_addr;
         
        proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
    }
     
    error_page 500 502 503 504 /50x.html;
    location = /50x.html {
        root html;
    }
}

然后将 http 的跳转到 https

server {
    listen 80;
    server_name www.k8s-harbor.com;
    return 301 https://www.k8s-harbor.com$request_uri;
}

然后重新加载配置文件

nginx -s reload

此时在浏览器就可以 通过 http://www.k8s-harbor.com 和 https://www.k8s-harbor.com 访问，当使用 http://www.k8s-harbor.com 时会发现自动跳转到 https://www.k8s-harbor.com

3.6.6 浏览器访问Harbor

浏览器输入: https://www.rpp-harbor.com/，访问如下页面, 输入用户名密码: admin/Harbor12345

3.6.7 Nginx 配置可能遇到额问题

注意，如果出现类似如下错误：

nginx: [emerg] unknown directive "ssl_certificate" in /usr/local/nginx/conf/nginx.conf

或者类似如下错误;

error: SSL modules require the OpenSSL library.

说明 nginx 没有安装ssl，此时进入nginx的源码目录，执行如下命令

./configure \
--prefix=/usr/local/nginx \
--with-http_stub_status_module \
--with-http_ssl_module \
--with-openssl=/usr/local/src/openssl-1.1.1o

其中：

• /usr/local/src/openssl-1.1.1o 目录 为openssl 源码包的解压目录

然后使用 make 编译，注意，不要使用 make install，否则会覆盖

make

然后备份原有的nginx 命令，并将新编译的nginx拷贝的nginx命令所在的目录

# 将原有的命令重命名备份
mv /usr/local/nginx/sbin/nginx /usr/local/nginx/sbin/nginx.bark

# 将新编译的nginx命令拷贝到nginx命令的目录下
cp objs/nginx /usr/local/nginx/sbin/

然后执行 nginx -V ，如下，出现 —with-http_ssl_module 表示安装成功

[root@redrose2100 nginx-1.21.4]# nginx -V
nginx version: nginx/1.21.4
built by gcc 4.8.5 20150623 (Red Hat 4.8.5-44) (GCC)
built with OpenSSL 1.1.1o 3 May 2022
TLS SNI support enabled
configure arguments: --prefix=/usr/local/nginx --with-http_stub_status_module --with-http_ssl_module --with-openssl=/usr/local/src/openssl-1.1.1o
[root@redrose2100 nginx-1.21.4]#

然后再次执行如下命令重新加载nginx配置

nginx -s reload

参考：Harbor----使用 Harbor 安装包安装部署 Harbor_harbor安装部署_mojolang的博客-CSDN博客

https://www.cnblogs.com/no-heart/p/17401398.html

3.7 配置Harbor受限访问仓库

3.7.1 创建私有项目仓库

3.7.2 创建机器人账户

创建机器人账户，并设置权限和关联项目。

3.7.3 创建项目内部机器人账户

处理创建global机器人账号外，也可以在项目内部创建机器人账号, 该机器人账号只对该项目有效:

3.7.4 保存机器人账号访问凭证

无论3.7.2还是3.7.3章节创建的机器人账号，创建完成后会弹出该账号的访问凭证，内容示例如下:

其中, name 为用户名, 密码为 secret:文章来源地址https://www.toymoban.com/news/detail-630475.html

 {
    "creation_time":"2023-10-30T03:50:21.260Z",
    "expires_at":-1,
    "id":4,
    "name":"robot$permission_pro+prorobot",      // 用户名
    "secret":"e9pMSa53fZ081E8tVIWXI3pmRioyXT5z"  // 密码
}

3.7.5 Docker登录和拉取镜像

1. 登录
// 登录时提示输入的username为: robot$permission_pro+prorobot
// 登录时提示输入的password为: e9pMSa53fZ081E8tVIWXI3pmRioyXT5z
docker login https://k8s-harbor.com/harbor/project
    
2. 登录成功后会生成凭证    
cat ~/.docker/config.json
{
  "auths": {
    "k8s-harbor.com": {
       "auth": "cm9ib3QkcGVybWlzc2lvbl9wcm8rcHJvcm9ib3Q6ZTlwTVNhNTNmWjA4MUU4dFZJV1hJM3BtUmlveVhUNXo="
     }
  }
}

3. 若要更换登录账号, 可删除该凭证文件 ~/.docker/config.json, 然后重新登录即可

4. 登录成功后即可正常拉取镜像
docker pull k8s-harbor.com/my-project/spring-boot-docker2:0.0.1-SNAPSHOT