flink配置参数

这篇具有很好参考价值的文章主要介绍了flink配置参数。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

flink-conf.yaml

基础配置

 
# jobManager 的IP地址

jobmanager.rpc.address: localhost


# JobManager 的端口号

jobmanager.rpc.port: 6123


# JobManager JVM heap 内存大小

jobmanager.heap.size: 1024m


# TaskManager JVM heap 内存大小

taskmanager.heap.size: 1024m


# 每个 TaskManager 提供的任务 slots 数量大小


taskmanager.numberOfTaskSlots: 1


# 程序默认并行计算的个数

parallelism.default: 1

容错检查点配置

# 用于存储和检查点状态

# state.backend: filesystem /rocksdb/hdfs


# 存储检查点的数据文件和元数据的默认目录

# state.checkpoints.dir: hdfs://namenode-host:port/flink-checkpoints


# savepoints 的默认目标目录(可选)

# state.savepoints.dir: hdfs://namenode-host:port/flink-checkpoints


# 用于启用/禁用增量 checkpoints 的标志

# state.backend.incremental: false

web端

# 基于 Web 的运行时监视器侦听的地址.

#jobmanager.web.address: 0.0.0.0


# Web 的运行时监视器端口

rest.port: 8081


# 是否从基于 Web 的 jobmanager 启用作业提交

# jobmanager.web.submit.enable: false

高可用配置

# 可以选择 'NONE' 或者 'zookeeper'.

# high-availability: zookeeper


# 文件系统路径,让 Flink 在高可用性设置中持久保存元数据

# high-availability.storageDir: hdfs:///flink/ha/


# zookeeper 集群中仲裁者的机器 ip 和 port 端口号

# high-availability.zookeeper.quorum: localhost:2181


# 默认是 open,如果 zookeeper security 启用了该值会更改成 creator

# high-availability.zookeeper.client.acl: open

HistoryServer配置

# 你可以通过 bin/historyserver.sh (start|stop) 命令启动和关闭 HistoryServer


# 将已完成的作业上传到的目录

# jobmanager.archive.fs.dir: hdfs:///completed-jobs/


# 基于 Web 的 HistoryServer 的地址

# historyserver.web.address: 0.0.0.0


# 基于 Web 的 HistoryServer 的端口号

# historyserver.web.port: 8082


# 以逗号分隔的目录列表,用于监视已完成的作业

# historyserver.archive.fs.dir: hdfs:///completed-jobs/


# 刷新受监控目录的时间间隔(以毫秒为单位)

# historyserver.archive.fs.refresh-interval: 10000

其他高级配置

# io.tmp.dirs: /tmp


# 是否应在 TaskManager 启动时预先分配 TaskManager 管理的内存

# taskmanager.memory.preallocate: false


# 类加载解析顺序,是先检查用户代码 jar(“child-first”)还是应用程序类路径(“parent-first”)。 默认设置指示首先从用户代码 jar 加载类

# classloader.resolve-order: child-first



# 用于网络缓冲区的 JVM 内存的分数。 这决定了 TaskManager 可以同时拥有多少流数据交换通道以及通道缓冲的程度。 如果作业被拒绝或者您收到系统没有足够缓冲区的警告,请增加此值或下面的最小/最大值。 另请注意,“taskmanager.network.memory.min”和“taskmanager.network.memory.max”可能会覆盖此分数


# taskmanager.network.memory.fraction: 0.1

# taskmanager.network.memory.min: 67108864

# taskmanager.network.memory.max: 1073741824

集群安全配置

# 指示是否从 Kerberos ticket 缓存中读取

# security.kerberos.login.use-ticket-cache: true


# 包含用户凭据的 Kerberos 密钥表文件的绝对路径

# security.kerberos.login.keytab: /path/to/kerberos/keytab


# 与 keytab 关联的 Kerberos 主体名称

# security.kerberos.login.principal: flink-user


# 以逗号分隔的登录上下文列表,用于提供 Kerberos 凭据(例如,`Client,KafkaClient`使用凭证进行 ZooKeeper 身份验证和 Kafka 身份验证)

# security.kerberos.login.contexts: Client,KafkaClient

日志文件配置

相关文件文章来源地址https://www.toymoban.com/news/detail-653109.html

log4j-cli.properties

log4j-console.properties

log4j-yarn-session.properties

log4j.properties

logback-console.xml

logback-yarn.xml

logback.xml

到了这里,关于flink配置参数的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 大数据组件配置--Flink

    系统环境为 CentOS 7.5 版本。 安装 Java 8。 安装 Hadoop 集群,Hadoop 建议选择 Hadoop 2.7.5 以上版本。 配置集群节点服务器间时间同步以及免密登录,关闭防火墙。 flink版本flink-1.14.0。 Scala版本scala_2.12。 flink安装包:flink-1.14.0-bin-scala_2.12.tgz 安装包位置:/opt/software/flink-1.14.0-bin-scala_

    2024年02月03日
    浏览(26)
  • 人大金仓分析型数据库配置数据库参数

    目录 前言 设置配置参数 设置本地配置参数 设置master配置参数  设置系统级别参数  设置数据库级别参数  设置角色级别参数  设置会话级别参数  查看服务器配置参数设置          据库的配置文件postgresql.conf 位于数据库实例的数据目录之下。master和每一个 实例都有自

    2024年02月09日
    浏览(33)
  • 【flink】flink获取-D参数方式

    参考官网 使用Flink官方的ParameterTool或者其他工具都可以。 (1)ParameterTool 获取参数 以 -D 开头的参数: (2)Env获取参数 举个例子使用以下方式启动flink job。 可通过以下代码获取:state.savepoints.dir 参数 需要说明:使用 StreamExecutionEnvironment 和 StreamTableEnvironment 都无法获取参数

    2024年02月06日
    浏览(40)
  • Flume采集数据到HDFS配置参数详细解析

    Flume采集数据到HDFS配置参数详细解析 配置解析: channel:管道;一个sink只能有一个管道,但一根管道可以有多个sink type : hdfs path:写入hdfs的路径,需要包含文件系统标识,比如:hdfs://192.168.40.101:9000/flume/%Y-%m-%d/ (可以使用flume提供的日期及%{host}表达式) filePrefix: 写入hdfs的文件名前缀,可以

    2024年02月02日
    浏览(40)
  • Spring Cloud Gateway系例—参数配置(CORS 配置、SSL、元数据)

    你可以配置网关来控制全局或每个路由的 CORS 行为。两者都提供同样的可能性。 “global” CORS配置是对 Spring Framework CorsConfiguration 的URL模式的映射。下面的例子配置了 CORS。 Example 77. application.yml 在前面的例子中,对于所有GET请求的路径,允许来自 docs.spring.io 的请求的CORS请求

    2024年02月13日
    浏览(36)
  • 【大数据】Presto(Trino)配置参数以及 SQL语法

    Trino (前身为 PrestoSQL )是一款 高性能,分布式的SQL查询引擎 ,可以用于查询各种类型的数据存储,包括 Hive 、 Mysql 、 Elasticsearch 、 Kafka 、 PostgreSQL 等。在使用Trino时,可以通过一些参数来控制查询的行为,例如: coordinator 节点和 worker 节点的数量 : 这两个参数控制了Trino集群

    2024年02月09日
    浏览(36)
  • Logstash数据处理服务的输出插件Output配置参数详解

    output配置字段是将收集的日志数据存输出到生存储中,一般都是elasticsearch集群。 常用字段配置: hosts ES集群每个节点的地址信息。 index :指定存储到ES的哪个索引库。 将从file日志文件中收集来的数据存储到ES索引库中。

    2023年04月09日
    浏览(49)
  • java:Kafka生产者推送数据与消费者接收数据(参数配置以及案例)

    bootstrap.servers :Kafka集群中的Broker列表,格式为host1:port1,host2:port2,…。生产者会从这些Broker中选择一个可用的Broker作为消息发送的目标Broker。 acks :Broker对消息的确认模式。可选值为0、1、all。0表示生产者不会等待Broker的任何确认消息;1表示生产者会等待Broker的Leader副本确认

    2024年02月16日
    浏览(31)
  • MYSQL数据库连接字符串(connectionString)配置参数大全详解

    请参考原文:MYSQL数据库连接字符串(connectionString)配置参数大全详解

    2024年02月12日
    浏览(43)
  • flink on yarn 中的flink-conf.yaml参数

    在 Flink on YARN 中, flink-conf.yaml 是 Flink 配置文件,用于配置 Flink 应用程序在 YARN 上的运行。通过修改 flink-conf.yaml 文件中的参数,你可以调整 Flink 集群的行为和性能。以下是一些常见的在 flink-conf.yaml 中设置的参数: yarn.application.name : 指定 Flink 应用程序在 YARN 上的名称。

    2024年02月12日
    浏览(32)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包