Flink On Kubernetes(三)Flink Kubernetes Operator安装

这篇具有很好参考价值的文章主要介绍了Flink On Kubernetes(三)Flink Kubernetes Operator安装。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

前面讲了Flink On Kubernetes如何进行技术的选型,这边的话目前选用的是Flink On Kubernetes Application模式,这种模式最好的是资源隔离,就是说如果这个任务出现CPU和内存的突然彪高不会占用其他任务的资源,不会影响其他任务。

很多人可能有疑问,使用Flink On Kubernetes为啥需要先安装Flink Kubernetes Operator?

Flink Kubernetes Operator 扩展了 Kubernetes API,使其具有管理和操作 Flink 的能力。具有以下特点:

  • 部署和监控 Flink 应用程序和会话部署
  • 升级、暂停和删除部署
  • 完整的日志记录和指标集成
  • 灵活的部署以及与 Kubernetes 工具的原生集成

综合而言,Flink Kubernetes Operator作为一个Kubernetes的Control plane控制平面,它管理Flink应用程序的完整部署生命周期。尽管Flink也提供Native原生的方式在k8s上部署Flink应用程序,但使用自定义资源CRD和Operator模式才是官方主推的Flink On K8s部署方式。

一、首先安装Flink Kubernetes Operator,在安装前先要现在Flink kubernetes operator和Flink的版本;

组件

版本号

说明

Flink Operator

1.6

支持Operator高可用部署,修复了大量Bug,稳定性好

支持Flink v1.13, v1.14, v1.15, v1.16

Flink

1.16.0

v1.16.0是当前主流用得比较多的版本

二、官方下载安装

Flink主页: https://flink.apache.org/

Flink Operator主页: https://nightlies.apache.org/flink/flink-kubernetes-operator-docs-release-1.3/

flink-kubernetes-operator heml包下载网站:https://downloads.apache.org/flink/

flink-kubernetes-operator 源码下载网站:https://github.com/apache/flink-kubernetes-operator/tags

三、下载helm文件之后,第一步先安装helm。

配置Helm:Helm是一个Kubernetes上的包管理器,它可以帮助你轻松地安装和管理Kubernetes应用程序。首先,你需要安装Helm客户端,并配置Helm的服务端(即Tiller)

解压helm

tar -zxvf helm-v3.8.2-linux-amd64.tar.gz

然后将helm移动到/usr/local/bin下面,这样的话就可以直接使用heml命令了

mv linux-amd64/helm /usr/local/bin/

四、添加常用的helm源

helm repo add flink-operator-repo https://downloads.apache.org/flink/flink-kubernetes-operator-1.3.1/

helm repo add stable http://mirror.azure.cn/kubernetes/charts

helm repo add bitnami https://charts.bitnami.com/bitnami

helm repo add aliyun https://kubernetes.oss-cn-hangzhou.aliyuncs.com/charts

五、安装cert-manager,flink-webhook需要从cert-manager获取证书,/validate和/mutate使用https协议

kubectl apply -f /root/flink-operators/cert-manager.yaml

Flink On Kubernetes(三)Flink Kubernetes Operator安装,Flink On Kubernetes,flink,kubernetes,大数据

六、配置Flink On Kubernetes chart:Flink提供了一个Helm chart,用于在Kubernetes上安装和管理Flink集群。首先,你需要下载并解压Flink发行包。然后,你需要修改values.yaml文件,根据你的需求配置Flink集群的参数,如副本数量、资源限制等。

开始安裝Flink Kubernetes Operator,这里使用helm本地安装,这种方式可以对flink Operator的配置进行修改

(1)从官网下载flink-kubernetes-operator heml包,上传到/root/flink-operators,并解压

tar -zxvf flink-kubernetes-operator-1.3.1-helm.tgz

(2)如果担心网络原因拉取不了flink operator的镜像,则修改flink operator helm目录下的values.yaml文件,修改repository地址

repository: registry.cn-hangzhou.aliyuncs.com/cm_ns01/flink-kubernetes-operator

(3)安装

helm install -f values.yaml flink-kubernetes-operator . --namespace flink --create-namespace

(4)检查

kubectl get all -n flink

helm list -n flink

这样的话,Flink Kubernetes Operator的安装就完成了。文章来源地址https://www.toymoban.com/news/detail-788502.html

到了这里,关于Flink On Kubernetes(三)Flink Kubernetes Operator安装的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • Flink Kubernetes Operator 介绍

    Flink Kubernetes Operator是针对在Kubernetes上运行Apache Flink应用程序而设计的工具。它充分利用了Kubernetes的优势,实现了对Flink集群的弹性管理和自动化操作,通过扩展Kubernetes API的方式,提供了管理和操作Flink部署的功能。 1.部署和监控 Flink 应用程序和会话部署:Flink Kubernetes Ope

    2024年01月21日
    浏览(52)
  • Flink Native Kubernetes实战

    关于Flink Native Kubernetes 先对比官方的1.9和1.10版本文档,如下图和红框和蓝框所示,可见Flink Native Kubernetes是1.10版本才有的新功能: 看看Native Kubernetes是如何运行的,如下图,创建session cluster的命令来自Flink安装包: 更有趣的是,提交任务的命令也来自Flink安装包,就是我们平

    2024年04月12日
    浏览(27)
  • Flink K8S Operator 离线安装

    2.1 添加helm仓库 2.2 安装 chart 如果报如下错误: 则需要添加 --set webhook.create=false 参数

    2024年03月16日
    浏览(37)
  • Flink on Yarn安装配置

    Apache Flink,作为一个开源的分布式处理引擎,近年来在大数据处理领域崭露头角,其独特的流处理和批处理一体化模型,使得它能够在处理无界和有界数据流时展现出卓越的性能。本文旨在对Flink进行简要的前言性介绍,以及他的安装配置 Apache Flink是一个面向分布式数据流处

    2024年03月24日
    浏览(117)
  • kubernetes operator解析

    您是否想过站点可靠性工程 (SRE) 团队如何有效地成功管理复杂的应用程序? 在 Kubernetes 生态中,只有一个答案:Kubernetes Operators! 在本文中,我们将研究它们是什么以及它们是如何工作的。 Kubernetes Operator 概念由 CoreOS 的工程师于 2016 年开发,作为一种在 Kubernetes 集群上构建

    2024年02月10日
    浏览(32)
  • 构建 Kubernetes Operator 的原则是什么?

    Kubernetes(简称K8s)上数据服务的自动化越来越受欢迎。在K8s上运行有状态的工作负载意味着使用Operator。然而,它发展演化到今天已经变得非常复杂,像Operator这样的应用模式和扩展方式对于开发者与运维者而言愈发受到欢迎。 但工程师们经常对编写K8s Operator的复杂性感到吃

    2024年02月03日
    浏览(34)
  • 【Flink实战】玩转Flink里面核心的Source Operator实战

    🚀 作者 :“大数据小禅” 🚀 文章简介 :【Flink实战】玩转Flink里面核心的Source Operator实战 🚀 欢迎小伙伴们 点赞 👍、 收藏 ⭐、 留言 💬 Flink 的API层级介绍Source Operator速览 Flink的API层级 为流式/批式处理应用程序的开发提供了不同级别的抽象 第一层是最底层的抽象为有

    2024年02月08日
    浏览(48)
  • 大数据Flink(五十八):Flink on Yarn的三种部署方式介绍

    文章目录 Flink on Yarn的三种部署方式介绍 一、​​​​​​​Session模式

    2024年02月13日
    浏览(43)
  • 【flink番外篇】7、flink的State(Keyed State和operator state)介绍及示例(2) - operator state

    一、Flink 专栏 Flink 专栏系统介绍某一知识点,并辅以具体的示例进行说明。 1、Flink 部署系列 本部分介绍Flink的部署、配置相关基础内容。 2、Flink基础系列 本部分介绍Flink 的基础部分,比如术语、架构、编程模型、编程指南、基本的datastream api用法、四大基石等内容。 3、

    2024年01月22日
    浏览(101)
  • kubernetes基于helm部署gitlab-operator

    这篇博文介绍如何在 Kubernetes 中使用helm部署 GitLab-operator。 先决条件 已运行的 Kubernetes 集群 负载均衡器,为ingress-nginx控制器提供EXTERNAL-IP,本示例使用metallb 默认存储类,为gitlab pods提供持久化存储,本示例使用openebs cert-manager,为gitlab提供自签名证书 项目地址:https://gitl

    2024年02月14日
    浏览(36)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包