Seatunnel部署及一些出错

这篇具有很好参考价值的文章主要介绍了Seatunnel部署及一些出错。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

先确保有Java,确保版本大于1.8.0

1.设置JAVA_HOME

2.下载Seatunnel,在指定文件夹路径下输入以下代码

export version="2.3.0"
wget "https://archive.apache.org/dist/incubator/seatunnel/${version}/apache-seatunnel-incubating-${version}-bin.tar.gz"
tar -xzvf "apache-seatunnel-incubating-${version}-bin.tar.gz"

3.解压压缩包

tar -zxvf 压缩包名称

4.设置所需要的连接器都有哪些

打开路径  /seatunnel/apache-seatunnel-incubating-2.3.0/config

找到文件 plugin_config,打开编辑,如下

--seatunnel-connectors--
connector-fake
connector-console
--end--

中间内容看所需要的情况去增加

你可以在这找到所有受支持的相应的config配置名称

${SEATUNNEL_HOME}/connectors/plugins-mapping.properties

5.配置完后安装连接器插件

sh bin/install_plugin.sh 2.3.0

外网下载,可能很慢

以上全部完成即部署成功

---------------------------------------------------------------------------------------------------------------------------------

下面开始测试能否调通

3种方法,1.本地直接测试;2.fling测试;3.spark测试

1.1.本地直接测试

找到  config/seatunnel.streaming.conf.template 文件,修改内容为以下

env {
  execution.parallelism = 1
  job.mode = "BATCH"
}

source {
    FakeSource {
      result_table_name = "fake"
      row.num = 16
      schema = {
        fields {
          name = "string"
          age = "int"
        }
      }
    }
}

transform {

}

sink {
  Console {}
}

仅是测试内容,详细配置参考

Intro to config file | Apache SeaTunnelhttps://seatunnel.apache.org/docs/2.3.0/concept/config

1.2.运行海底隧道

在根目录下输入下方代码 

./bin/seatunnel.sh --config ./config/seatunnel.streaming.conf.template -e local

ps1.报错说Hazelcast instance is not active!(hazelcast实例未激活!)

这个不清楚怎么解决的,但是重新安装了一次配置文件的时候,错误消失,又可以重新运行了。可能是第一次配置文件安装出了错误

2.flink测试

2.1.部署flink(flink要求>1.12.0 且 <1.14.x)本次所使用的版本是1.12.2

下载flink,下方链接

Apache Flink: Downloadshttps://flink.apache.org/downloads.html或者百度网盘下载这次测试的压缩包

链接:https://pan.baidu.com/s/13f3epBuYyon8gRGbGMRY-w 
提取码:hdsd

下载完后解压(我的路径是 /usr/local/flink)

tar -zxvf flink-1.12.2-bin-scala_2.12.tgz

配置FLINK_HOME

export FLINK_HOME=/usr/local/flink/flink-1.12.2
export PATH=$PATH:${FLINK_HOME}/bin

 测试flink是否可用

# 启动Flink
./bin/start-cluster.sh

#这个时候可以打开地址去查看网页,默认端口8081

#测试是否可以调通
./bin/flink run ./examples/streaming/TopSpeedWindowing.jar

#关闭Flink
./bin/stop-cluster.sh

 2.打开 Seatnnul 找到  config/seatunnel.streaming.conf.template 文件,修改内容为以下

env {
  execution.parallelism = 1
  job.mode = "BATCH"
}

source {
    FakeSource {
      result_table_name = "fake"
      row.num = 16
      schema = {
        fields {
          name = "string"
          age = "int"
        }
      }
    }
}

transform {

}

sink {
  Console {}
}

仅是测试配置

2.2.运行海底隧道

./bin/start-seatunnel-flink-connector-v2.sh --config ./config/seatunnel.streaming.conf.template

ps1.报错说主方法错误,Flink作业失败。

这个我先下载的Spark,所以Spark的端口是8081,后下载的Flink端口被占用了,我就修改了Flink的端口,但不知道是端口设置错了或者其他原因,导致Flink没法运行作业

解决的办法是,把Spark的服务停止了,Flink的端口改回8081,成功运行

ps2.以上仅是测试 ,seatunnel.streaming.conf.template文件是seatunnel自带的测试用的配置文件,如果我们自己写的话,需要自己创建 .config 文件,启动命令也是改为

./bin/start-seatunnel-flink-connector-v2.sh --config ./config/创建的.config文件

举例 ———> Seatunnel示例文章来源地址https://www.toymoban.com/news/detail-420378.html

到了这里,关于Seatunnel部署及一些出错的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • Apache DolphinScheduler 3.1.8 版本发布,修复 SeaTunnel 相关 Bug

    近日,Apache DolphinScheduler 发布了 3.1.8 版本。此版本主要基于 3.1.7 版本进行了 bug 修复,共计修复 16 个 bug, 1 个 doc, 2 个 chore。 其中修复了以下几个较为重要的问题: 修复在构建 SeaTunnel 任务节点的参数时错误的判断条件 修复 SeaTunnel 任务运行模式默认为运行,无法选择空值的

    2024年02月13日
    浏览(47)
  • 海豚调度任务类型Apache SeaTunnel部署指南

    Apache DolphinScheduler已支持Apache SeaTunnel任务类型,本文介绍了SeaTunnel任务类型如何创建,任务参数,以及任务样例。 SeaTunnel 任务类型,用于创建并执行 SeaTunnel 类型任务。worker 执行该任务的时候,会通过 start-seatunnel-spark.sh 、 start-seatunnel-flink.sh 和 seatunnel.sh 命令解析 config 文件

    2024年04月08日
    浏览(45)
  • Apache SeaTunnel 2.3.3 版本发布,CDC 支持 Schema Evolution!

    时隔两个月, Apache SeaTunnel 终于迎来大版本更新。此次发布的 2.3.3 版本在功能和性能上均有较大优化改进,其中大家期待已久的 CDC Schema evolution(DDL 变更同步)、主键 Split 拆分、JDBC Sink 自动建表功能、SeaTunnel Zeta 引擎支持 作业配置支持变量替换和传参等都是更新的亮点。

    2024年02月11日
    浏览(75)
  • 【源码编译】Apache SeaTunnel-Web 适配最新2.3.4版本教程

    Apache SeaTunnel新版本已经发布,感兴趣的小伙伴可以看之前版本发布的文章 本文主要给大家介绍为使用2.3.4版本的新特性,需要对Apache SeaTunnel-Web依赖的版本进行升级,而SeaTunnel2.3.4版本部分API跟之前 版本不兼容 ,所以需要对 SeaTunnel-Web的 源码进行修改 适配。 克隆SeaYunnel-We

    2024年04月14日
    浏览(36)
  • Apache SeaTunnel 及 Web 功能部署指南(小白版)

    在大数据处理领域,Apache SeaTunnel 已成为一款备受青睐的开源数据集成平台,它不仅可以基于Apache Spark和Flink,而且还有社区单独开发专属数据集成的Zeta引擎,提供了强大的数据处理能力。随着SeaTunnel Web的推出,用户界面(UI)操作变得更加友好,项目部署和管理更加便捷。 本

    2024年03月09日
    浏览(53)
  • 【安装部署】Apache SeaTunnel 和 Web快速安装详解

    由于作者目前接触当前最新版本为2.3.4 但是官方提供的web版本未1.0.0,不兼容2.3.4,因此这里仍然使用2.3.3版本。 可以自定义兼容处理,官方提供了文档:https://mp.weixin.qq.com/s/Al1VmBoOKu2P02sBOTB6DQ 因为大部分用户使用SeaTunnel Web都是基于SeaTunnel-2.3.3 版本做的适配,而最新发布的Sea

    2024年04月16日
    浏览(45)
  • 算法部署过程中如何确保数据的安全?

    在数字化时代,数据安全成为了企业和个人面临的一项主要挑战。随着技术的迅速发展,尤其在算法部署过程中,确保敏感数据的安全性变得更加复杂和关键。在这个背景下,软件加密和授权机制的作用显得尤为重要。软件加密不仅仅是转换数据为只有授权用户能解读的格式

    2024年01月18日
    浏览(50)
  • node以及npm版本不对应出错解决方法

    node以及npm版本不对应 在前端开发过程中,大家可能误操作导致node版本与npm版本不对应,导致报错,项目运行不了。包括最基础的项目创建,npm i功能都无法实现。本文主要根据版本不对应做如下的解决方式。 You are using Node v10.24.1, but this version of @vue/cli requires Node ^12.0.0 || =

    2024年02月02日
    浏览(83)
  • SeaTunnel 发布成为 Apache 顶级项目后首个版本 2.3.2,进一步提高 Zeta 引擎稳定性和易用性

    近日,Apache SeaTunnel 正式发布 2.3.2 版本。此时距离上一版本 2.3.1 发布已有两个多月,期间我们收集并根据用户和开发者的反馈,在 2.3.2 版本中对 SeaTunnel Zeta Engine 进行了 Bug 修复,提高了引擎的稳定性和使用效率。 此外,新版本还对 Connector-V2 中的连接器进行了功能和性能优

    2024年02月10日
    浏览(69)
  • Wordpress升级版本后插件和主题常见出错及处理方法整理【持续更新】

    一般常用的排查方法: 暂时禁用所有插件; 将主题更改为默认主题;  修改wp-config.php文件; 更新固定链接设置,确保设置正确; 检查.htaccess文件是否存在且是否可写; 检查主题的页面模板文件是否存在;7、检查wp-config.php文件的数据库凭据是否正确; 使用phpMyAdmin等工具检

    2024年02月14日
    浏览(40)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包