Flink编程——基础环境搭建

这篇具有很好参考价值的文章主要介绍了Flink编程——基础环境搭建。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

基础环境搭建

准备环境搭建

我们先把电脑的准备环境给安装好,这样后面才能顺利的学习和时间

因为后面可能用到的有:Kafka、MySQL、ElasticSearch 等,另外像 Flink 编写程序还需要依赖Java,还有就是我们项目是用 Maven来管理依赖的,所以需要把这些环境搭建起来,如果可以的话也可以把Hadoop 的环境搭建起来,后面学习数据湖的时候要用。

源码环境搭建

源码环境是我们理解和阅读源代码的最有用的工具了,搭建好源码环境后我们可以对源代码进行调试和二次开发

克隆代码

Flink GitHub 仓库地址:https://github.com/apache/flink 但是GitHub 经常由于网络的一些问题不稳定,我们可以使用Gitee

git clone https://gitee.com/apache/flink.git

Flink编程——基础环境搭建,# Flink 编程,flink,大数据

我们可以切到对应的目录下,查看一下分支情况

编译
mvn clean install -DskipTests -Dfast -Pskip-webui-build -T 1C
  • -DskipTests:跳过测试代码
  • -Dfast:跳过 QA 的插件和 JavaDocs 的生成
  • -Pskip-webui-build:跳过 WebUI 编译

fastskip-webui-build 这两个 Maven profiles 对整体构建时间影响比较大,特别是在存储设备比较慢的机器上,因为对应的任务会读写很多小文件。

注意: maven 的 settings.xml 文件的 mirror 添加下面这个

<mirror>
  <id>nexus-aliyun</id>
  <mirrorOf>*,!jeecg,!jeecg-snapshots,!mapr-releases</mirrorOf>
  <name>Nexus aliyun</name>
  <url>http://maven.aliyun.com/nexus/content/groups/public</url>
</mirror>

<mirror>
  <id>mapr-public</id>
  <mirrorOf>mapr-releases</mirrorOf>
  <name>mapr-releases</name>
  <url>https://maven.aliyun.com/repository/mapr-public</url>
</mirror>

可以加速依赖包的下载

Flink编程——基础环境搭建,# Flink 编程,flink,大数据

导入IDEA

IDEA 作为目前我们最长使用的开发工具,我们可以使用IDEA 阅读和理解Flink 的源代码,导入项目之前我们先配置一下Maven,不然我们它默认的目录是在用户目录下,这样就会导致我们在编译时候下载的的依赖还有再下载一遍,所以我们这里配置一下我们的Maven

Flink编程——基础环境搭建,# Flink 编程,flink,大数据

接下来开始导入,步骤参考如下

  1. 启动 IntelliJ IDEA 并选择 New → Project from Existing Sources。
  2. 选择已克隆的 Flink 存储库的根文件夹。
  3. 选择 “Import project from external model”,然后选择 “Maven”。
  4. 保留默认选项,然后依次单击 “Next”,直到到达 SDK 部分。
  5. 如果未列出 SDK,请使用左上角的 “+” 号创建一个。选择 “JDK”,选择 JDK 主目录,然后单击 “OK”。选择最合适的 JDK 版本。注意:一个好的经验法则是选择与活动 Maven 配置文件匹配的 JDK 版本。
  6. 单击 “Next” 继续,直到完成导入。
  7. 右键单击已导入的 Flink 项目 → Maven → Generate Sources and Update Folders。请注意:这会将 Flink 库安装在本地 Maven 存储库中,默认情况下位于 “/home/$USER/.m2/repository/org/apache/flink/"。另外 mvn clean package -DskipTests 也可以创建 IDE 运行所需的文件,但无需安装库。
  8. 编译项目(Build → Make Project)

我们选择我们的下载目录打开即可

或者这里你可以选择导入项目,然后根据提示一步步完成设置

Flink编程——基础环境搭建,# Flink 编程,flink,大数据

选择maven

Flink编程——基础环境搭建,# Flink 编程,flink,大数据

最后成功导入,这下我们可以在IDEA 中进行堆代码的调试和开发了

Flink编程——基础环境搭建,# Flink 编程,flink,大数据

集群环境搭建

Apache Flink 可以以多种方式在不同的环境中部署,抛开这种多样性而言,Flink 集群的基本构建方式和操作原则仍然是相同的。

一个 Flink 集群总是包含一个 JobManager以及一个或多个 TaskManager。JobManager 负责处理 Job提交、 Job 监控以及资源管理。Flink TaskManager 运行 worker 进程, 负责实际任务 Tasks的执行,而这些任务共同组成了一个 Flink Job。

本地模式安装

请按照以下几个步骤下载最新的稳定版本开始使用。

步骤 1:下载

为了运行Flink,需提前安装好 Java 11 或者 Java8。你可以通过以下命令来检查 Java 是否已经安装正确。

java -version

下载 release 1.18.0 并解压。

$ tar -xzf flink-1.18.0-bin-scala_2.12.tgz
$ cd flink-1.18.0-bin-scala_2.12
步骤 2:启动集群

Flink 附带了一个 bash 脚本,可以用于启动本地集群。

$ ./bin/start-cluster.sh
Starting cluster.
Starting standalonesession daemon on host.
Starting taskexecutor daemon on host.

因为我这里在worker 文件里配置在本地启动了三个TaskManager 进程

Flink编程——基础环境搭建,# Flink 编程,flink,大数据

Flink编程——基础环境搭建,# Flink 编程,flink,大数据

步骤 3:提交作业(Job)

Flink 的 Releases 附带了许多的示例作业。你可以任意选择一个,快速部署到已运行的集群上。

$ ./bin/flink run examples/streaming/WordCount.jar
$ tail log/flink-*-taskexecutor-*.out
  (nymph,1)
  (in,3)
  (thy,1)
  (orisons,1)
  (be,4)
  (all,2)
  (my,1)
  (sins,1)
  (remember,1)
  (d,4)

另外,你可以通过 Flink 的 Web UI 来监视集群的状态和正在运行的作业,可以看到作业已经运行结束了

Flink编程——基础环境搭建,# Flink 编程,flink,大数据

上面的日志输出,你也可以在Flink 的 Web UI 上看,但是因为我们这里启动了三个TaskManager,但是我们的任务并行度是1 ,也就是只有某一个的TaskManager 日志可以看到

Flink编程——基础环境搭建,# Flink 编程,flink,大数据

下面就是 Web UI 上的日志

Flink编程——基础环境搭建,# Flink 编程,flink,大数据

步骤 4:停止集群

完成后,你可以快速停止集群和所有正在运行的组件。

$ ./bin/stop-cluster.sh

Flink编程——基础环境搭建,# Flink 编程,flink,大数据

总结

到这里我们的环境搭建就完成了主要包括文章来源地址https://www.toymoban.com/news/detail-818546.html

  1. 准备环境搭建
  2. 源码环境搭建
  3. 集群环境搭建

到了这里,关于Flink编程——基础环境搭建的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 【Flink】基于Docker下的Flink运行环境搭建(Mac)

    提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档 创建一个本地运行环境是提高开发效率和便捷进行代码调试的关键。我们将一起构建一个本地环境,专门用于执行Flink任务。 此环境以Flink 1.17.2版本为基础,采用Docker技术搭建而成。通过这种方式,我们

    2024年02月19日
    浏览(44)
  • Flink第一章:环境搭建

    Flink第一章:环境搭建 Flink也是现在现在大数据技术中火爆的一门,反正大数据的热门技术学的也差不多了,啃完Flink基本的大数据技术就差不多哦学完了. 略 这里说明一下我选择的环境. java8 scala2.12 flink采用最新的1.17 请大家根据自己的环境更换版本 注 :这里使用DataSet对数据进行

    2024年02月04日
    浏览(44)
  • flink cdc环境搭建

    1.下载flink 2.修改flink-conf.yaml #根据自己电脑核数修改,这里我设置为4,因为系统分配了4核 jobmanager.rpc.address: localhost #主机名根据自己设定 taskmanager.numberOfTaskSlots: 4  3.下载flink-sql mysql cdc包 flink-sql-connector-mysql-cdc-1.2.0.jar 4.下载fink jdbc包  5.下载flink changelog-json数据格式包 6.将以

    2024年02月15日
    浏览(49)
  • flink1.13环境搭建

    最简单的启动方式,其实是不搭建集群,直接本地启动。本地部署非常简单,直接解压安装包就可以使用,不用进行任何配置;一般用来做一些简单的测试。 具体安装步骤如下: 1.1 下载安装包 进入 Flink 官网,下载 1.13.0 版本安装包 flink-1.13.0-bin-scala_2.12.tgz,注意此处选用对

    2024年01月22日
    浏览(41)
  • 【极数系列】Flink环境搭建(02)

    tips:下载地址https://repo.huaweicloud.com/java/jdk/ 双击解压后jdk的exe运行文件 tips:一般不安装在C盘,修改路径,接着直接next 此电脑–属性–高级系统设置–环境变量–找到系统变量path–选择新建–把jdk与jre目录均加上 进入oracle目录,如我的是C:ProgramDataOracleJavajavapath,删除该

    2024年01月24日
    浏览(44)
  • 【Flink SQL】Flink SQL 基础概念(一):SQL & Table 运行环境、基本概念及常用 API

    《 Flink SQL 基础概念 》系列,共包含以下 5 篇文章: Flink SQL 基础概念(一):SQL Table 运行环境、基本概念及常用 API Flink SQL 基础概念(二):数据类型 Flink SQL 基础概念(三):SQL 动态表 连续查询 Flink SQL 基础概念(四):SQL 的时间属性 Flink SQL 基础概念(五):SQL 时区问

    2024年03月21日
    浏览(72)
  • IDEA中搭建flink开发环境,看这一篇就够了,亲测有效

    在使用flink进行应用开发的时候,通常都是将开发的应用程序,提交到flink集群中,但是这样对应用程序开发调试很不方便,所谓磨刀不误砍柴工,下面我整理一个在mac上使用idea开发flink程序的配置教程,具体如下。 添加flink应用程序开发必要的依赖: 此时启动开发的应用程

    2023年04月10日
    浏览(48)
  • 大数据-玩转数据-Flink状态编程(上)

    有状态的计算是流处理框架要实现的重要功能,因为稍复杂的流处理场景都需要记录状态,然后在新流入数据的基础上不断更新状态。 SparkStreaming在状态管理这块做的不好, 很多时候需要借助于外部存储(例如Redis)来手动管理状态, 增加了编程的难度。 Flink的状态管理是它的优

    2024年02月09日
    浏览(44)
  • Doris+Flink搭建数据平台

    Doris 作为一款开源的 MPP 架构 OLAP 数据库,能够运行在绝大多数主流的商用服务器上。 安装:官网Doris安装 务必关注点 : 1 设置系统最大打开文件句柄数 2 Linux 操作系统版本需求 3 软件需求(Java,GCC) 4 机器角色分配(下图画线部分是重点,预防脑裂!) 设计好前置环境,开始

    2024年02月13日
    浏览(48)
  • 【大数据工具】Flink集群搭建

    1. 单机版 Flink 安装与使用 1、下载 Flink 安装包并上传至服务器 下载 flink-1.10.1-bin-scala_2.11.tgz 并上传至 Hadoop0 /software 下 2、解压 3、创建快捷方式 4、配置环境变量 5、启动 6、页面查看: hadoop0:8081 2. Standalone 模式安装 1、集群规划 主机名 JobManager TaskManager hadoop1 是 是 hadoop2 是

    2024年02月08日
    浏览(47)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包