Flink Operator 使用指南 之 全局配置

这篇具有很好参考价值的文章主要介绍了Flink Operator 使用指南 之 全局配置。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

背景

在上一个章节中已经介绍了基本的Flink-Operator安装,但是在实际的数据中台的项目中,用户可能希望看到Flink Operator的运行日志情况,当然这可以通过修改Flink-Operator POD的文件实现卷挂载的形势将日志输出到宿主机器的指定目录下,但是这种办法对数据中台的产品不是特别友好,因此我们需要将Operator服务的日志输出到Kafka Appender中;因此我们需要修改Flink Operator的helm中的values配置文件文件,达成我们的目标.

默认情况下Flink Operator不支持Kafka Appender日志输出,为了支持改能力,需要在flink-operator的镜像编译的时候添加kafka依赖,这里小编是在flink-kubernetes-operator模块的pom.xml文件中添加如下配置

<!--kafka版本信息-->
<properties>
    <kafka-clients.version>2.2.0</kafka-clients.version>
</properties>
...
<!--kafka clients依赖-->
<dependency>
    <groupId>org.apache.kafka</groupId>
    <artifactId>kafka-clients</artifactId>
    <version>${kafka-clients.version}</version>
</dependency>

然后对flink-operator重新进行打包编译,重新发布flink-kubernetes-operator镜像即可

日志采集

可以这么理解flink-operator服务是一个flink 任务提交的客户端,在设计的时候会在提交作业的时候允许用户覆盖log4j-console.propertieslog4j-operator.properties配置文件,其中如果用户需要采集k8s作业容器的运行日志可以尝试配置log4j-console.properties配置文件,如果是希望查看flink-operator服务本身的日志需要覆盖log4j-operator.properties配置文件。文章来源地址https://www.toymoban.com/news/detail-789140.html

################################################################################
#  Licensed to the Apache Software Foundation (ASF) under one
#  or more contributor license agreements.  See the NOTICE file
#  distributed with this work for additional information
#  regarding copyright ownership.  The ASF licenses this file
#  to you under the Apache License, Version 2.0 (the
#  "License"); you may not use this file except in compliance
#  with the License.  You may obtain a copy of the License at
#
#      http://www.apache.org/licenses/LICENSE-2.0
#
#  Unless required by applicable law or agreed to in writing, software
#  distributed under the License is distributed on an "AS IS" BASIS,
#  WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
#  See the License for the specific language governing permissions and
# limitations under the License.
################################################################################

---

# List of kubernetes namespaces to watch for FlinkDeployment changes, empty means all namespaces.
# When enabled RBAC is only created for said namespaces, otherwise it is done for the cluster scope.
# watchNamespaces: ["flink"]

image:
  repository: ghcr.io/apache/flink-kubernetes-operator
  pullPolicy: IfNotPresent
  tag: "51eeae1"
  # If image digest is set then it takes precedence and the image tag will be ignored
  # digest: ""

imagePullSecrets: []

# Replicas must be 1 unless operator leader election is configured
replicas: 1

# Strategy type must be Recreate unless leader election is configured
strategy:
  type: Recreate

rbac:
  create: true
  # kubernetes.rest-service.exposed.type: NodePort requires
  # list permission for nodes at the cluster scope.
  # Set create to true if you are using NodePort type.
  nodesRule:
    create: false
  operatorRole:
    create: true
    name: "flink-operator"
  operatorRoleBinding:
    create: true
    name: "flink-operator-role-binding"
  jobRole

到了这里,关于Flink Operator 使用指南 之 全局配置的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • Postern中配置和使用Socks5代理指南

    在Postern中配置和使用Socks5代理,可以为你的爬虫项目提供更灵活、更可靠的网络连接。本文将向你分享如何在Postern中配置和使用Socks5代理的方法,解决可能遇到的问题 配置和使用Socks5代理的步骤: 1.了解Socks代理:了解Socks5代理的工作原理和使用场景,选择合适的代理服务

    2024年02月12日
    浏览(33)
  • PyCharm 开发环境搭建指南:安装、配置及基础使用教程

    数据来源 Pycharm集成开发工具(DE),是当下全球Pthn开发者, 使用最频繁的工具软件 。 绝大多数的 Python程序,都是在 Pycharm工具内完成的开发。 Pycharm工具下载 首先,我们先下载并安装它:打开网站:下载PyCharm:JetBrains为专业开发者提供的Python IDE  迅雷下载: https://download.

    2024年04月17日
    浏览(52)
  • 远程桌面配置指南:保留TCP地址、配置隧道和使用固定TCP地址

    使用免费的cpolar生成的远程桌面公网地址,24小时内会发生变化,为随机公网地址,并且带宽较小,只有1M。对于需要长期远程的用户来说,配置固定的地址,就很有必要。 配置固定的地址,首先需要将套餐升级到基础版套餐,然后保留固定的tcp地址,配置到远程桌面隧道。

    2024年02月13日
    浏览(27)
  • 香橙派 Orange Pi Zero2 使用配置指南

    目前市场上树莓派产品价格居高不下,在做了一番对比后发现 香橙派 Orange Pi Zero2 相对于 树莓派 Zero 2 W 性能高了不是一点两点,最关键的是价格也很实在,64位1.5GHz高性能4核CPU,1G内存,千兆网卡,双频无线蓝牙,通用Type-C接口,小巧方便,带上官方外壳(尝鲜价)只要不到

    2024年02月08日
    浏览(67)
  • [Unity]VRTK_v4使用指南(配置)和Pico 4开发笔记(SteamVR)

    1这些插件的关系 先随便讲一下这些插件的关系和使用,我只使用过PICO4,所以一起都是基于pico4设备来说的 1.1.1  PICO SDK+XRI 首先在pico自带的安卓平台上面开发,需要使用pico的sdk作为输入输出,然后使用XRI包,这个包里面帮我们写好了很多函数,比如传送和抓取,所以开发很

    2024年02月08日
    浏览(35)
  • 全网最全最细的PLSQL下载、安装、配置、使用指南、问题解答,相关问题已汇总

    1.1、PLSQL 下载链接 1.2、PLSQL下载链接,包含64位和32位。选择64位下载就好了。 1.3、推荐大家下载14.0.6版本的PLSQL,一般不推荐下载最新的,最新的虽然不一定有bug,但是遇到了就很恶心,但是上一个版本基本上就很稳定了。14.0.6不用下载chinese语言包,就是下图的Chinese Langua

    2024年01月19日
    浏览(32)
  • 【Shell 命令集合 系统设置 】Linux 配置鼠标设备的相关设置 mouseconfig命令 使用指南

    Shell 命令专栏:Linux Shell 命令全解析 mouseconfig命令是Linux系统中的一个命令,它用于配置鼠标设备的相关设置。通过mouseconfig命令,用户可以更改鼠标的灵敏度、按钮映射、滚轮速度等参数,从而满足个人的使用习惯和需求。 鼠标是计算机中常用的输入设备之一,mouseconfig命令

    2024年02月03日
    浏览(41)
  • 【Shell 命令集合 系统管理 】Linux 修改用户的属性和配置 usermod命令 使用指南

    Shell 命令专栏:Linux Shell 命令全解析 usermod命令是Linux系统中的一个命令,用于修改用户的属性和配置。通过usermod命令,可以对用户的各种属性进行修改,如用户的用户名、用户ID、用户组ID、用户主目录、用户登录shell等。 用户属性的修改可以通过usermod命令的参数来实现,参

    2024年02月04日
    浏览(45)
  • 【云服务器 ECS 实战】云服务器新手指南(配置+使用详解)

    谈起云计算,相信大家都不陌生,可以说它已经颠覆了我们生活中的很多应用场景,如虚拟化办公、物联网、虚拟 IDC 以及日常的生活娱乐、金融、教育等多个行业领域都享受到了来自“云”技术的红利,毫不夸张的说:“云”已经渗透到了我们日常生活中的各个领域。 那么

    2024年02月03日
    浏览(36)
  • 哈工大计算机网络实验四——简单网络组建配置 Cisco Packet Tracer 使用指南

    做实验四时,本来希望能够借助实验指导书上的内容速通,但尝试了一个上午后发现遍地都是bug,于是便花了半天的时间认真学习了一下其中的运行机制,晚上又把所有的switch全都重写了一遍,最后终于成功。这篇博客详细介绍了该实验中使用Cisco Packet Tracer组建校园网的过程

    2024年02月09日
    浏览(45)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包