前面讲了Flink On Kubernetes如何进行技术的选型,这边的话目前选用的是Flink On Kubernetes Application模式,这种模式最好的是资源隔离,就是说如果这个任务出现CPU和内存的突然彪高不会占用其他任务的资源,不会影响其他任务。
很多人可能有疑问,使用Flink On Kubernetes为啥需要先安装Flink Kubernetes Operator?
Flink Kubernetes Operator 扩展了 Kubernetes API,使其具有管理和操作 Flink 的能力。具有以下特点:
- 部署和监控 Flink 应用程序和会话部署
- 升级、暂停和删除部署
- 完整的日志记录和指标集成
- 灵活的部署以及与 Kubernetes 工具的原生集成
综合而言,Flink Kubernetes Operator作为一个Kubernetes的Control plane控制平面,它管理Flink应用程序的完整部署生命周期。尽管Flink也提供Native原生的方式在k8s上部署Flink应用程序,但使用自定义资源CRD和Operator模式才是官方主推的Flink On K8s部署方式。
一、首先安装Flink Kubernetes Operator,在安装前先要现在Flink kubernetes operator和Flink的版本;
组件 |
版本号 |
说明 |
Flink Operator |
1.6 |
支持Operator高可用部署,修复了大量Bug,稳定性好 支持Flink v1.13, v1.14, v1.15, v1.16 |
Flink |
1.16.0 |
v1.16.0是当前主流用得比较多的版本 |
二、官方下载安装
Flink主页: https://flink.apache.org/
Flink Operator主页: https://nightlies.apache.org/flink/flink-kubernetes-operator-docs-release-1.3/
flink-kubernetes-operator heml包下载网站:https://downloads.apache.org/flink/
flink-kubernetes-operator 源码下载网站:https://github.com/apache/flink-kubernetes-operator/tags
三、下载helm文件之后,第一步先安装helm。
配置Helm:Helm是一个Kubernetes上的包管理器,它可以帮助你轻松地安装和管理Kubernetes应用程序。首先,你需要安装Helm客户端,并配置Helm的服务端(即Tiller)
解压helm
tar -zxvf helm-v3.8.2-linux-amd64.tar.gz
然后将helm移动到/usr/local/bin下面,这样的话就可以直接使用heml命令了
mv linux-amd64/helm /usr/local/bin/
四、添加常用的helm源
helm repo add flink-operator-repo https://downloads.apache.org/flink/flink-kubernetes-operator-1.3.1/
helm repo add stable http://mirror.azure.cn/kubernetes/charts
helm repo add bitnami https://charts.bitnami.com/bitnami
helm repo add aliyun https://kubernetes.oss-cn-hangzhou.aliyuncs.com/charts
五、安装cert-manager,flink-webhook需要从cert-manager获取证书,/validate和/mutate使用https协议
kubectl apply -f /root/flink-operators/cert-manager.yaml
六、配置Flink On Kubernetes chart:Flink提供了一个Helm chart,用于在Kubernetes上安装和管理Flink集群。首先,你需要下载并解压Flink发行包。然后,你需要修改values.yaml
文件,根据你的需求配置Flink集群的参数,如副本数量、资源限制等。
开始安裝Flink Kubernetes Operator,这里使用helm本地安装,这种方式可以对flink Operator的配置进行修改
(1)从官网下载flink-kubernetes-operator heml包,上传到/root/flink-operators,并解压
tar -zxvf flink-kubernetes-operator-1.3.1-helm.tgz
(2)如果担心网络原因拉取不了flink operator的镜像,则修改flink operator helm目录下的values.yaml文件,修改repository地址
repository: registry.cn-hangzhou.aliyuncs.com/cm_ns01/flink-kubernetes-operator
(3)安装
helm install -f values.yaml flink-kubernetes-operator . --namespace flink --create-namespace
(4)检查
kubectl get all -n flink
helm list -n flink文章来源:https://www.toymoban.com/news/detail-788502.html
这样的话,Flink Kubernetes Operator的安装就完成了。文章来源地址https://www.toymoban.com/news/detail-788502.html
到了这里,关于Flink On Kubernetes(三)Flink Kubernetes Operator安装的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!