centos7-datax和datax-web安装以及安装中问题的解决

这篇具有很好参考价值的文章主要介绍了centos7-datax和datax-web安装以及安装中问题的解决。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

一、下载这些软件(见)

centos7-datax和datax-web安装以及安装中问题的解决

centos7-datax和datax-web安装以及安装中问题的解决

centos7-datax和datax-web安装以及安装中问题的解决

centos7-datax和datax-web安装以及安装中问题的解决

 

系统变量设置(安装maven和jdk略)

vi /etc/profile

centos7-datax和datax-web安装以及安装中问题的解决

JAVA_HOME=/usr/local/jdk1.8.0_40

CLASSPATH=$JAVA_HOME/lib/

PATH=$PATH:$JAVA_HOME/bin

DATAX_HOME=/usr/local/datax

PATH=$PATH:$DATAX_HOME/bin

 

export MAVEN_HOME=/usr/local/apache-maven-3.6.3

export PATH=$PATH:$MAVEN_HOME/bin

 

生效系统变量

source /etc/profile

centos7-datax和datax-web安装以及安装中问题的解决

yum install python

centos7-datax和datax-web安装以及安装中问题的解决

二、安装配置datax

wget http://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.tar.gz

tar -zxvf datax.tar.gz && mv datax /usr/local/ cd /usr/local/datax/bin/ python datax.py /usr/local/datax/job/job.json

 

报错:

com.alibaba.datax.common.exception.DataXException: Code:[Common-00], Describe:[您提供的配置文件存在错误信息,请检查您的作业配置 .] - 配置信息错误,您提供的配置文件[/usr/local/datax/plugin/reader/._drdsreader/plugin.json]

进入查询,删除文件

cd /usr/local/datax/plugin/reader

ll -a

[root@Data1 reader]# ll -a

total 76

drwxr-xr-x 21 502 games 4096 Feb 19 21:05 .

drwxr-xr-x  4 502 games   66 Feb 19 21:05 ..

drwxr-xr-x  3 502 games  224 Feb 19 21:05 cassandrareader

-rwxr-xr-x  1 502 games  212 Oct 12  2019 ._cassandrareader

....

删除._开头语文件

rm -f ._*

cd /usr/local/datax/plugin/writer/

rm -f ._*

再次运行成功安装完成:

python /usr/local/datax/bin/datax.py  /usr/local/datax/job/job.json

由于/etc/profile中加了DATAX_HOME的环境变量,也可以用下面语句测试dataX是否安装成功:

[root@node-4 bin]# python $DATAX_HOME/bin/datax.py $DATAX_HOME/job/job.json

centos7-datax和datax-web安装以及安装中问题的解决

centos7-datax和datax-web安装以及安装中问题的解决

安装datax-web

centos7安装DataX可视化工具DataX-web

 

三、安装环境:Centos7,JDK1.8, Python 2.7.5,Datax 最新版本,Datax-web-2.1.2

1、下载datax-web免编译压缩包

datax-web压缩包:https://pan.baidu.com/s/13yoqhGpD00I82K4lOYtQhg 提取码:cpsk

2、解压压缩包

tar -xvf  datax-web-2.1.2.tar.gz

3、安装

cd datax-web-2.1.2/bin

./install.sh  #一键安装

会有交互 提示,一路输入 y就行

4、配置

cd  datax-web-2.1.2/modules/datax-execute/bin

centos7-datax和datax-web安装以及安装中问题的解决

cd /usr/local/datax-web-2.1.2/modules/datax-admin/bin

配置datax-web的数据库:

centos7-datax和datax-web安装以及安装中问题的解决

centos7-datax和datax-web安装以及安装中问题的解决

centos7-datax和datax-web安装以及安装中问题的解决

四、在navicat里面执行sql文件

MySQL8.0及以上版本创建数据库并分配用户授权

1)create database `datax_web` character set utf8mb4;

2)CREATE USER 'root'@'%' IDENTIFIED BY 'jysj@123456';

3)flush privileges;

4)grant all privileges on *.* to root@'%' with grant option;

5)ALTER USER 'root'@'%' IDENTIFIED WITH mysql_native_password BY 'jysj@123456';

6)flush privileges;

执行一键安装脚本
进入解压后的目录,找到bin目录下面的install.sh文件,如果选择交互式的安装,则直接执行

./bin/install.sh

 

在交互模式下,对各个模块的package压缩包的解压以及configure配置脚本的调用,都会请求用户确认,可根据提示查看是否安装成功,如果没有安装成功,可以重复尝试; 如果不想使用交互模式,跳过确认过程,则执行以下命令安装

./bin/install.sh --force

centos7-datax和datax-web安装以及安装中问题的解决

centos7-datax和datax-web安装以及安装中问题的解决

centos7-datax和datax-web安装以及安装中问题的解决

 

启动datax-web服务

cd datax-web-2.1.2/bin

./start-all.sh

访问web页面:http://192.168.100.4:9527/index.html

默认admin/123456

centos7-datax和datax-web安装以及安装中问题的解决

centos7-datax和datax-web安装以及安装中问题的解决

5、

报错:[odpsreader,mysqlwriter]加载失败,1s后重试... Exception:Code:[Common-00], Describe:[您提供的配置文件存在错误信息,请检查您的作业配置 .] - 配置信息错误,

您提供的配置文件[/home/lijixin/datax/datax/plugin/reader/._oraclereader/plugin.json]不存在. 请检查您的配置文件.

DataX智能分析,该任务最可能的错误原因是:

com.alibaba.datax.common.exception.DataXException: Code:[Common-00], Description:[您提供的配置文件存在错误信息,请检查您的作业配置。].

 -配置信息错误 ,您提供的配置文件:/Users/hn/datax/plugin/reader/.DS_Store/plugin.json]不存在,请检查您的配置文件。

查看plugins里是否有clickhouse的writer和reader的文件夹,文件夹里面是jar包,下载从百度网盘

centos7-datax和datax-web安装以及安装中问题的解决

里面找到文件夹上传到对应的centos7上的对应文件夹里面,并且保证里面没有垃圾文件,全部是文件夹,没有._的开头的文件。文章来源地址https://www.toymoban.com/news/detail-499706.html

到了这里,关于centos7-datax和datax-web安装以及安装中问题的解决的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • Datax-web入门配置与启动

    在idea中启动Datax-web 需要先将Datax在本地安装,可以参考这篇文章(DataX在win10中的安装) GitHub - WeiYe-Jing/datax-web: DataX集成可视化页面,选择数据源即可一键生成数据同步任务,支持RDBMS、Hive、HBase、ClickHouse、MongoDB等数据源,批量创建RDBMS数据同步任务,集成开源调度系统,支

    2024年02月08日
    浏览(53)
  • 开源DataX集成可视化项目Datax-Web的使用

    上一篇文章我们已经搭建好了 Datax-Web 后台,这篇文章我们具体讲一下如何通过Datax-Web来配置,同步MySQL数据库。 1、\\\"调度中心OnLine:\\\"右侧显示在线的\\\"调度中心\\\"列表, 任务执行结束后, 将会以failover的模式进行回调调度中心通知执行结果, 避免回调的单点风险; 2、“执行器列表”

    2024年02月08日
    浏览(41)
  • datax-web登陆时出现账号密码错误

    目录的位置:datax-web-2.1.2/modules/datax-admin/bin/console.out 发现了java程序没有跑起来,解决对应的bug问题即可,一般都是数据库连接的问题,可能和使用的数据库版本什么的有关系

    2024年02月14日
    浏览(50)
  • 【DataX-Web的搭建(Windows/Linux环境)

    备注:我本地目录规划, 统一放到文件夹: D:javaProjectssync-datadatax D:javaProjectssync-datadatax-web (1) 安装 python3 (配置环境变量),但从github上下载的版本只支持python2.x版本,而现在python3.x正流行,这给我们带来不少麻烦。 datax 支持Python3需要修改替换datax/bin下面的三个pyt

    2024年02月08日
    浏览(43)
  • dataX3.0和datax-web部署实践踩坑记录(windows版)

    今年公司需要上一个数据分析项目,在考察了一番(百度一番)之后决定上datax加上datax-web的方式来进行数据调度。 PS:写在前面,主要作用是为了自己以后再次(跳槽)部署而写下的记录。 持续更新中... ... 注意: 这里的链接是指向的github的开发文档 。下载dataX需要拉到下

    2024年02月20日
    浏览(39)
  • Centos7 -DHCP、WEB、DNS以及邮件服务器配置-最终基础篇

    一、使用虚拟机建立一个公司局域网,局域网内包括DHCP服务器、web服务器、DNS服务器以及邮件服务器。局域网网段为192.168.学号后三位.0/24,局域网所在域的域名为姓名拼音.com 例如:张三同学学号是188,则网段为192.168.188.0/24,域名为zs.com或zhangsan.com。 二、实现新终端入网零

    2024年02月16日
    浏览(67)
  • CentOS7安装docker以及docker-compose

    系统版本:CentOS7.9 docker版本:当前最新版本是23.0.3 docker compose版本:v2.17.2 参考官网文档:跳转链接 我这边之前没有安装过docker,所以执行命令后输出以下内容 这里有两种方式,一种是安装最新版本的docker,一种是安装指定版本的docker。 安装最新版本docker 安装指定版本do

    2024年02月05日
    浏览(56)
  • 前端系列:Centos7安装node.js以及遇到的各种问题

    自己买了一个腾讯云轻量应用服务器,第一个项目跟随github部署了一个小网站。本文记录安装node.js的过程(安装时遇到了一些坑,折腾了好久。。) 我最后安装的方法是使用源代码安装,想看这个方法的直接看最后一部分! 前期使用的方法都没有成功。 我的平台:腾讯云

    2024年02月20日
    浏览(48)
  • VMware-workstation Pro 16 详细安装教程以及Linux镜像下载(以CentOS7为例)

    阿里云镜像下载地址:centos安装包下载_开源镜像站-阿里云 进入网址发现会有很多版本,可以自行选择版本,在这里先以7.9.2009版本为例下载 选择ISOS/目录 选择x86_64目录  进去以后会发现有很多不同的版本 CentOS-7-x86_64-DVD-2009.iso:标准版,也是最常用的版本,本文以该版本为

    2024年02月11日
    浏览(71)
  • (Linux)Centos7.*版本安装配置Java环境、Tomcat、Nginx并打包部署SSM框架web系统

    目录 一、准备软件与安装包 (一)、必须的软件 1、点击下载Xshell 2、点击下载FileZilla (二)、准备安装包 1、点击下载JDK1.8Linux版本 2、点击下载Nginx 3、点击下载Tomcat   二、关于FileZilla软件的使用说明 (一)、FileZilla软件的打开和说明 (二)、配置服务器地址去连接服务器  三、X

    2023年04月25日
    浏览(64)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包