seatunnel及web安装常见问题与解决方法

这篇具有很好参考价值的文章主要介绍了seatunnel及web安装常见问题与解决方法。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

seatunnel及web的正常安装流程见

Seatunnel及web搭建流程-CSDN博客

一步一步按照以上博客流程进行安装,正常情况下能顺利跑通seatunnel及web的demo。

此博客为安装过程中遇到的一些棘手问题总结。

常见错误问题

正常安装后,都会遇到报错,下面是总结的一些常见的异常问题

1.java.lang.NoClassDefFoundError: com/sun/jersey/client/impl/CopyOnWriteHashMap

主要原因是,hadoop相关的jar包找不到,需要将jar包放到lib下。

将seatunnel-hadoop3-3.1.4-uber-2.3.3-optional.jar放到seatunnel的lib包下即可。下载方法见文章后面的详细介绍。

2.SqlServer-cdc的jar包安全问题

使用高版本的mssql的jdbc的jar包时,有安全检查机制,会导致进行使用seatunnel的sqlserver-cdc时报异常:

Caused by: sun.security.validator.ValidatorException: PKIX path building failed: sun.security.provider.certpath.SunCertPathBuilderException: unable to find valid certification path to requested target

我使用的是mssql-jdbc-11.2.3.jre8.jar,结果一直报异常,添加了trustServerCertificate=true;encrypt=true参数也会报错(只针对seatunnel的SqlServer-cdc场景,在jdbc场景使用此jar包正常),经过查看源码与issue,发现源码中是低版本mssql-jdbc-9.4.1.jre8.jar,替换此jar包后SqlServer-cdc在SqlServer2016上能够实现cdc功能。

有的同学使用的是mssgl-jdbc-9.2.0.jre8.jar,也可以实现SqlServer-cdc功能。

jar包下载地址Central Repository: com/microsoft/sqlserver/mssql-jdbc

3.SqlServer 2016无法开启表的cdc

安装流程CDC 任务数据源权限配置 - SqlServer 权限配置 - 《EasyData用户手册》进行开启SqlServer 2016的cdc功能时,遇到问题是:可以开启SqlServer的库的cdc,但是在开启表的cdc时,一直无法执行成功,一个可能得原因是,计算机的名称发生了变化,需要将计算机的名称还原到安装SqlServer 2016的时候的名称。

sql - 在表级别启用CDC时出错 - Thinbug

mvn加速下载seatunnel相关jar包

安装seatunnel过程中,解压文件后官方默认提供的connector的jar包只有2个,要想连接mysql,oracle,SqlServer,hive,kafka,clickhouse,doris等时,还需下载对应的jar包。

seatunnel web,jar,java,seatunnel,mvnw

如果机器可以连接外网,可使用命令方式sh bin/install-plugin.sh直接下载,这个命令会 自动下载文件apache-seatunnel-2.3.3/connectors/plugin-mapping.properties中指定的所有connector的jar包,每个人可根据自己情况自行增减需要的connector依赖包。

seatunnel web,jar,java,seatunnel,mvnw

加速下载connector相关jar包

seatunnel下载connector的jar时,使用mvnw来下载jar包,而且是从https://repo.maven.apache.org 下载,速度及其缓慢,且公司机器不能上外网,改用自己windows本地的mvn,从阿里云mvn源下载。
 

修改其安装插件相关脚本,复制bin目录下install-plugin.sh重命名为install-plugin-mvn.sh

seatunnel web,jar,java,seatunnel,mvnw

替换脚本中的${SEATUNNEL_HOME}/mvnw为mvn,即可使用本地mvn,配合阿里云的mvn源,可加速下载。

seatunnel web,jar,java,seatunnel,mvnw

然后执行install-plugin-mvn.sh即可。原本2个小时没有下载完成的,改写后几分钟下载完成了。

seatunnel web,jar,java,seatunnel,mvnw

将下载后的jar包复制到connectors/seatunnel/下即完成connector的jar包补充。

注意:在安装seatunnel的时候可能会出现java.lang.NoClassDefFoundError错误,大部分时候是因为缺少apache hadoop的jar包,在执行install-plugin-mvn.sh的时候会下载一个jar包seatunnel-hadoop3-3.1.4-uber-2.3.3-optional.jar,存放于上一级目录的lib文件夹下,如果是在其他路径下载jar包,将下载的seatunnel-hadoop3-3.1.4-uber-2.3.3-optional.jar放在seatunnel的lib文件夹下,然后就可以解决这个问题了。

seatunnel web,jar,java,seatunnel,mvnw

datasource相关jar包

安装好seatunnel-web1.0.0后,新建数据源时,无下拉框和数据源选项,

seatunnel web,jar,java,seatunnel,mvnw

 查找资料中官方大佬给出的解决方式如下:

[Improve] Add "download_datasource.sh" for downloading datasource. by FlechazoW · Pull Request #136 · apache/seatunnel-web · GitHub

注意,这里的解决方式需要下载最新的seatunnel-web源代码,执行download_datasource.sh下载数据源jar包

seatunnel web,jar,java,seatunnel,mvnw

查看源代码,也是使用mvnw的方式下载,windows上进行修改

download_datasource.sh复制到 D:\jar\seatunnel\script后改名为download_datasource-mvn.sh,替换"$SEATUNNEL_WEB_HOME"/mvnw为本地环境变量中配置好的mvn

seatunnel web,jar,java,seatunnel,mvnw

执行sh download_datasource-mvn.sh命令就会将jar包下载到相应为文件夹中

seatunnel web,jar,java,seatunnel,mvnw

下载完成后,将相应的jar包放置到apache-seatunnel-web的libs下,重启之后,显示正常

seatunnel web,jar,java,seatunnel,mvnw

注意事项

元数据和数据源的jar包还需要要复制到后端lib文件夹/opt/seatunnel/backend/apache-seatunnel-2.3.3/lib

否则在配置好web任务时,后台根本不执行!!!

相关问题

1.配置阿里云mvn源加速

 如何配置的阿里云mvn源

Maven如何配置阿里镜像及安装全步骤_maven配置阿里云镜像-CSDN博客

2.如何在windows环境下执行shell命令

因为所有linux机器不能外网,先在windows下执行shell脚本,下载jar包,然后复制到相关机器即可。如何在windows下执行shell命令,可参考下面的文章。

Windows中运行Linux命令的6种方法https://www.eet-china.com/mp/a228539.html文章来源地址https://www.toymoban.com/news/detail-778200.html

到了这里,关于seatunnel及web安装常见问题与解决方法的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • R语言安装R包的方法,mac、windows、linux安装R包常见问题与解决方法

    如果把R比作是沃土的话,那么R包就是鲜花,开源共享的开发者社区提供了很多功能丰富的R包,方便使用者充分利用R语言完成工作。 但是,有时候在安装R包是会遇到各种各样的报错和问题,下面进行一个总结,包括mac、windows、Linux各平台的R包管理方法,建议收藏备用。 R

    2024年02月12日
    浏览(44)
  • Java开发中的常见问题和解决方法:如何解决常见的性能和bug问题

      在Java开发中,我们经常会面临各种各样的问题,包括性能问题和Bug。这些问题可能会导致应用程序的运行变慢、不稳定甚至崩溃。本文将介绍一些常见的Java开发问题,并提供解决这些问题的方法和技巧,帮助开发人员更好地处理性能和Bug问题。 性能问题是Java开发中最常见

    2024年02月09日
    浏览(39)
  • Postman常见问题及解决方法

    如果Postman无法发送请求或接收响应,可以尝试以下操作: 检查网络连接是否正常,包括检查网络设置、代理设置等。 确认请求的URL是否正确,并检查是否使用了正确的HTTP方法(例如GET、POST、PUT等)。 如果使用HTTPS协议,可以检查证书是否有效。 如果是内部API,可以尝试使

    2024年02月16日
    浏览(27)
  • Stable Diffusion web UI 安装、启动脚本、常见问题、插件(linux)

    Stable Diffusion本身是一个模型,对于大多数想试试的人来说,使用这个web ui版本最合适 建议先看完再动手,虽然不难但是有门槛(主要要解决网络问题),如果深入需要会python 如果只是想试试的,建议直接下载别人打好的包,自己搭建确实很麻烦 2023.12.4更新教程 1.6.1版本,

    2024年02月13日
    浏览(28)
  • Stable Diffusion web UI 脚本安装、启动脚本、常见问题(linux)

    Stable Diffusion本身是一个模型,对于大多数想试试的人来说,使用这个web ui版本最合适 建议先看完再动手,虽然不难但是有门槛(主要要解决网络问题),如果深入需要会python 如果只是想试试的,建议直接下载别人打好的包,自己搭建确实很麻烦 2023.12.4更新教程 1.6.1版本,

    2024年02月13日
    浏览(33)
  • Sigrity常见问题解决方法(持续更新)

    错误信息如下: 该问题是因为Mesh设置的过大,导致via和note在同一个mesh网格上存在粘连 解决方法是:将mesh进行auto设置 在仿真时,为了减小计算量,加快仿真速度,一般需要对所仿真的部分进行切割。对于speedem来说,切割主要是用的就是以下几个工具 其中: 用于绘制切割

    2023年04月18日
    浏览(38)
  • 「MySQL运维常见问题及解决方法」

    💖The Begin💖点点关注,收藏不迷路💖 在某些情况下,我们可能需要查看MySQL数据库的安装路径,以便进行一些特定的操作或配置。 步骤1:登录MySQL数据库 首先,我们需要登录MySQL数据库。可以使用命令行工具或者图形化界面进行登录。在命令行中,可以使用以下命令登录:

    2024年02月03日
    浏览(35)
  • 【Pytorch】torchtext终极安装方法及常见问题

    简介 在学习沐神的深度学习的课程时,发现没有安装torchtext,遂直接尝试pip install torchtext 命令安装,但是安装失败,上网搜索时发现并没这么简单,经过多种方法尝试后,最终安装成功。 先说成功安装的方法 经尝试发现,torchtext需要和pytorch/python版本严格对应,不能随意安

    2023年04月22日
    浏览(33)
  • 【问题解决】Git命令行常见error及其解决方法

      以下是我一段时间没有使用xshell,然后用git命令行遇到的一些系列错误和他们的解决方法  遇到了这个报错: fatal: Not a git repository (or any of the parent directories): .git 我查阅一些博客和资料,可以解决的方式:  在我进行git push提交文件时,我遇到了下面这个报错  解决方式:

    2024年02月13日
    浏览(34)
  • Windows 安装 pycrypto 常见问题解决

    首先pycrypto 项目已经不在更新了,自己开发可以使用cryptography、pycryptodome https://pypi.org/project/cryptography/ https://pypi.org/project/pycryptodome/ 关于python使用Crypto.Cipher模块,安装pycrypto ,ImportError: No module named \\\'Crypto\\\'  常见问题及解决方案如下:   安装VC 只要版本大于等于Microsoft Visu

    2024年02月03日
    浏览(37)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包