最近在跟着高塔老师的教程用二进制的方式搭建k8s
kubernetes v1.20.0 我没有使用最新的版本，是因为内部网络问题。
containerd v1.5.2 之前并没有使用过，但对docker比较熟悉
我所处的环境是一个内网环境，无法连接互联网，更无法连接国际互联网，
内网环境下部署了Harbor(private registry)，用作镜像仓库来使用，是以http形式来进行服务的，即 insecure registry，ip地址为192.168.1.8
还有6台虚拟机节点，分为 3台主节点(master)和3台工作节点(worker)，而192.168.1.1为网关路由器地址，所以从2开始，2-4为master，5-7为worker
192.168.1.2/192.168.1.3/192.168.1.4/192.168.1.5/192.168.1.6/192.168.1.7
在第12步骤部署CoreDNS部分出现了containerd无法拉取私库里面的镜像的问题。
首先我在自己的私库Harbor是存在沙箱镜像pause:3.2 ，我使用docker能正常拉取，说明我的Harbor是没有问题的。docker是由/etc/docker/daemon.json insecure-registries :["192.168.1.8"]进行配置的。
当我安装高塔老师的步骤执行到：
$ kubectl get pods -l k8s-app=kube-dns -n kube-system --kubeconfig=admin.kubeconfig一直会出现容器正在创建的状态，于是通过describe看一下具体问题。
执行如下命令后，具体错误为：
$ kubectl describe pod coredns-xxxx-xxx -n kube-system --kubeconfig=admin.kubeconfig第一个问题： 出现了kubelet去k8s.gcr.io/pause:3.5拉取镜像了，并没有去私库拉取镜像，导致沙箱镜像无法下载，也就是无法运行coreDNS镜像。
而我在内网的harbor pause镜像地址为： 192.168.1.8/kubernetes/pause:3.2
那如何解决这个问题呢？
我一开始以为是出现的错误是由于kubelet的配置所在，所以重新找到高塔老师的文档，又看了一遍，没有发现蛛丝马迹。
然后又找到了containerd的官方文档，发现在默认生成的/etc/containerd/config.toml中包含了要拉取sandbox_image地址，也就是说containerd告诉kubelet去gcr.io拉取镜像，我们通过修改这个地址来让kubelet去我们的私库拉取镜像。
$ containerd config default > /etc/containerd/config.toml[plugins]
[plugins."io.containerd.grpc.v1.cri"]
sandbox_image="k8s.gcr.io/pause:3.5"下面是修改后的配置，然后重启三个worker节点的containerd
[plugins]
[plugins."io.containerd.grpc.v1.cri"]
sandbox_image="192.168.1.8/kubernetes/pause:3.2"$ systemctl restart containerd第二个问题：我继续通过kubectl descirbe命令来查看情况，这次的结果是地址确实变化了，但是还是没有从私库上拉取下来。
我找了很多文档，包括github的issues和discussions有不少人都遇到了这个问题，但是都没有一个详细的解决办法，尤其是看了这篇手册https://github.com/containerd/containerd/blob/release/1.5/docs/cri/registry.md，按照手册配置了半天，没有任何效果，有点浪费时间。
总结一下：无外乎就是修改config.toml里面的 insecure_skip_verify及在[plugins."io.containerd.grpc.v1.cri".registry]新增mirrors、auths或configs，但结果都是无效的。
并且issues的人 说ctr无法使用cri的config，也就是说config.toml是cri的配置，可以通过：
$ ctr images pull --plain-http 192.168.1.8/kubernetes/pause:3.2进行拉取，但是kubelet并不认识ctr，是因为ctr没有实现cri接口，具体表现为：
$ ctr images pull --plain-http 192.168.1.8/kubernetes/pause:3.2
$ ctr images ls //我们发现就有了这个镜像，但是当我们执行
$ crictl images //并没有发现刚刚拉取下来的pause:3.2镜像也就是还是无法让kubelet从私库拉取pause:3.2镜像的问题，都是如下错误：
Failed CreatePodSandBox 7s(x22 over 4m42s) kubelet Failed to create pod sandbox: rpc error: code=Unknown desc = failed to get sandbox image "192.168.1.8/kubernetes/pause:3.2" :failed to pull image "192.168.1.8/kubernetes/pause:3.2": failed to pull and unpack image "192.168.1.8/kubernetes/pause:3.2": failed to resolve reference "192.168.1.8/kubernetes/pause:3.2": failed to do request: Head "https://192.168.1.8/v2/kubernetes/pause/manifests/3.2": dial tcp 192.168.1.8:443: connect:connection refused
我重新又找文档，又鏖战了一天的时间，发现在containerd：配置hosts 中有一个Bypass TLS Verification Example，我按照教程立刻配了一下，问题立刻解决。
解决方法为：
$ tree /etc/containerd/certs.d
/etc/containerd/certs.d
└── docker.io
└── hosts.toml$ cat /etc/containerd/certs.d/docker.io/hosts.toml
server = "https://docker.io"
[host."http://192.168.1.8:80"]
capabilities = ["pull", "resolve","push"]
skip_verify = true还有就是修改你的config.toml中的192.168.1.8为docker.io ，对，你没看错，一定要修改这里。
[plugins]
[plugins."io.containerd.grpc.v1.cri"]
sandbox_image="docker.io/kubernetes/pause:3.2"这是因为containerd已经设置了hosts，你可以理解为拦截器，将访问docker.io的链接替换为上面咱们hosts.toml里面设置的私库地址。
以后你的所有的私库中的镜像地址都不是 192.168.1.8/repo/image:version ,而是docker.io/repo/image:version
也就是说更改的是你的yaml文件里面image镜像地址，改为docker.io/repo/image:version ,但是harbor不用任何更改。
$ systemctl restart containerd
别忘重启所有worker节点。
参考链接：
1.高塔老师：kubernetes the hard way
GitHub - kelseyhightower/kubernetes-the-hard-way: Bootstrap Kubernetes the hard way on Google Cloud Platform. No scripts.
2.containerd: 配置registry
https://github.com/containerd/containerd/blob/release/1.5/docs/cri/registry.md
3.containerd：配置hosts文章来源：https://www.toymoban.com/news/detail-484165.html
https://github.com/containerd/containerd/blob/release/1.5/docs/hosts.md文章来源地址https://www.toymoban.com/news/detail-484165.html
到了这里，关于containerd拉取私库镜像失败(kubelet)的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！
