先确保有Java,确保版本大于1.8.0
1.设置JAVA_HOME
2.下载Seatunnel,在指定文件夹路径下输入以下代码
export version="2.3.0"
wget "https://archive.apache.org/dist/incubator/seatunnel/${version}/apache-seatunnel-incubating-${version}-bin.tar.gz"
tar -xzvf "apache-seatunnel-incubating-${version}-bin.tar.gz"
3.解压压缩包
tar -zxvf 压缩包名称
4.设置所需要的连接器都有哪些
打开路径 /seatunnel/apache-seatunnel-incubating-2.3.0/config
找到文件 plugin_config,打开编辑,如下
--seatunnel-connectors--
connector-fake
connector-console
--end--
中间内容看所需要的情况去增加
你可以在这找到所有受支持的相应的config配置名称
${SEATUNNEL_HOME}/connectors/plugins-mapping.properties
5.配置完后安装连接器插件
sh bin/install_plugin.sh 2.3.0
外网下载,可能很慢
以上全部完成即部署成功
---------------------------------------------------------------------------------------------------------------------------------
下面开始测试能否调通
3种方法,1.本地直接测试;2.fling测试;3.spark测试
1.1.本地直接测试
找到 config/seatunnel.streaming.conf.template 文件,修改内容为以下
env {
execution.parallelism = 1
job.mode = "BATCH"
}
source {
FakeSource {
result_table_name = "fake"
row.num = 16
schema = {
fields {
name = "string"
age = "int"
}
}
}
}
transform {
}
sink {
Console {}
}
仅是测试内容,详细配置参考
Intro to config file | Apache SeaTunnelhttps://seatunnel.apache.org/docs/2.3.0/concept/config
1.2.运行海底隧道
在根目录下输入下方代码
./bin/seatunnel.sh --config ./config/seatunnel.streaming.conf.template -e local
ps1.报错说Hazelcast instance is not active!(hazelcast实例未激活!)
这个不清楚怎么解决的,但是重新安装了一次配置文件的时候,错误消失,又可以重新运行了。可能是第一次配置文件安装出了错误
2.flink测试
2.1.部署flink(flink要求>1.12.0 且 <1.14.x)本次所使用的版本是1.12.2
下载flink,下方链接
Apache Flink: Downloadshttps://flink.apache.org/downloads.html或者百度网盘下载这次测试的压缩包
链接:https://pan.baidu.com/s/13f3epBuYyon8gRGbGMRY-w
提取码:hdsd
下载完后解压(我的路径是 /usr/local/flink)
tar -zxvf flink-1.12.2-bin-scala_2.12.tgz
配置FLINK_HOME
export FLINK_HOME=/usr/local/flink/flink-1.12.2
export PATH=$PATH:${FLINK_HOME}/bin
测试flink是否可用
# 启动Flink
./bin/start-cluster.sh
#这个时候可以打开地址去查看网页,默认端口8081
#测试是否可以调通
./bin/flink run ./examples/streaming/TopSpeedWindowing.jar
#关闭Flink
./bin/stop-cluster.sh
2.打开 Seatnnul 找到 config/seatunnel.streaming.conf.template 文件,修改内容为以下
env {
execution.parallelism = 1
job.mode = "BATCH"
}
source {
FakeSource {
result_table_name = "fake"
row.num = 16
schema = {
fields {
name = "string"
age = "int"
}
}
}
}
transform {
}
sink {
Console {}
}
仅是测试配置
2.2.运行海底隧道
./bin/start-seatunnel-flink-connector-v2.sh --config ./config/seatunnel.streaming.conf.template
ps1.报错说主方法错误,Flink作业失败。
这个我先下载的Spark,所以Spark的端口是8081,后下载的Flink端口被占用了,我就修改了Flink的端口,但不知道是端口设置错了或者其他原因,导致Flink没法运行作业
解决的办法是,把Spark的服务停止了,Flink的端口改回8081,成功运行
ps2.以上仅是测试 ,seatunnel.streaming.conf.template文件是seatunnel自带的测试用的配置文件,如果我们自己写的话,需要自己创建 .config 文件,启动命令也是改为 文章来源:https://www.toymoban.com/news/detail-420378.html
./bin/start-seatunnel-flink-connector-v2.sh --config ./config/创建的.config文件
举例 ———> Seatunnel示例文章来源地址https://www.toymoban.com/news/detail-420378.html
到了这里,关于Seatunnel部署及一些出错的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!