Datax-web入门配置与启动

这篇具有很好参考价值的文章主要介绍了Datax-web入门配置与启动。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

在idea中启动Datax-web

需要先将Datax在本地安装,可以参考这篇文章(DataX在win10中的安装)

1.从github上拉取源码

GitHub - WeiYe-Jing/datax-web: DataX集成可视化页面,选择数据源即可一键生成数据同步任务,支持RDBMS、Hive、HBase、ClickHouse、MongoDB等数据源,批量创建RDBMS数据同步任务,集成开源调度系统,支持分布式、增量同步数据、实时查看运行日志、监控执行器资源、KILL运行进程、数据源信息加密等。

Datax-web入门配置与启动

2.在本地的mysql数据库中执行脚本文件创建数据库

2.1.修改脚本文件

增加几行代码

DROP DATABASE IF EXISTS datax_web;
CREATE DATABASE datax_web DEFAULT CHARACTER SET utf8 COLLATE utf8_general_ci;
USE datax_web;

Datax-web入门配置与启动

 2.2.在数据库中执行datax_web.sql脚本,生成datax_web库

Datax-web入门配置与启动

3.修改配置文件

3.1.修改datax_admin下resources/application.yml文件

Datax-web入门配置与启动

 下面的代码可以直接覆盖本地的(注意修改为自己的mysql账户名和密码)

# 端口号
server:
  port: 8080
spring:
  #数据源,目前仅仅支持Mysql
  datasource:
    username: root
    password: 'root'
    url: jdbc:mysql://127.0.0.1:3306/datax_web?serverTimezone=Asia/Shanghai&useLegacyDatetimeCode=false&useSSL=false&nullNamePatternMatchesAll=true&useUnicode=true&characterEncoding=UTF-8
    driver-class-name: com.mysql.jdbc.Driver

 # 数据库连接池配置
    hikari:
      ## 最小空闲连接数量
      minimum-idle: 5
      ## 空闲连接存活最大时间,默认600000(10分钟)
      idle-timeout: 180000
      ## 连接池最大连接数,默认是10
      maximum-pool-size: 10
      ## 数据库连接超时时间,默认30秒,即30000
      connection-timeout: 30000
      connection-test-query: SELECT 1
      ##此属性控制池中连接的最长生命周期,值0表示无限生命周期,默认1800000即30分钟
      max-lifetime: 1800000

  # datax-web email  不需要可以不用配置
  mail:
    host: smtp.qq.com
    port: 25
    username: 
    password: 
    properties:
      mail:
        smtp:
          auth: true
          starttls:
            enable: true
            required: true
        socketFactory:
          class: javax.net.ssl.SSLSocketFactory


management:
  health:
    mail:
      enabled: false
  server:
    servlet:
      context-path: /actuator

mybatis-plus:
  # mapper.xml文件扫描
  mapper-locations: classpath*:/mybatis-mapper/*Mapper.xml
  # 实体扫描,多个package用逗号或者分号分隔
  #typeAliasesPackage: com.yibo.essyncclient.*.entity
  global-config:
    # 数据库相关配置
    db-config:
      # 主键类型  AUTO:"数据库ID自增", INPUT:"用户输入ID", ID_WORKER:"全局唯一ID (数字类型唯一ID)", UUID:"全局唯一ID UUID";
      id-type: AUTO
      # 字段策略 IGNORED:"忽略判断",NOT_NULL:"非 NULL 判断"),NOT_EMPTY:"非空判断"
      field-strategy: NOT_NULL
      # 驼峰下划线转换
      column-underline: true
      # 逻辑删除
      logic-delete-value: 0
      logic-not-delete-value: 1
      # 数据库类型
      db-type: mysql
    banner: false
  # mybatis原生配置
  configuration:
    map-underscore-to-camel-case: true
    cache-enabled: false
    call-setters-on-nulls: true
    jdbc-type-for-null: 'null'
    type-handlers-package: com.wugui.datax.admin.core.handler

# 配置mybatis-plus打印sql日志
logging:
  level:
    com.wugui.datax.admin.mapper: error
    path: ./data/applogs/admin

#datax-job, access token
datax:
  job:
    accessToken:
    #i18n (default empty as chinese, "en" as english)
    i18n:
    ## triggerpool max size
    triggerpool:
      fast:
        max: 200
      slow:
        max: 100
      ### log retention days
    logretentiondays: 30

datasource:
  aes:
    key: AD42F6697B035B75

3.2.修改datax_executor下resources/application.yml文件

Datax-web入门配置与启动

下面的代码可以直接覆盖本地

# web port
server:
  #port: ${server.port}
  port: 8081

# 日志路径
logging:
  config: classpath:logback.xml
  path: ./data/applogs/executor/jobhandler

datax:
  job:
    admin:
      ### datax admin address list, http://address01,http://address02",data-admin的地址
      addresses: http://127.0.0.1:8080
    executor:
      appname: datax-executor # 创建执行器时的AppName需要和这里保持一致
      ip:
      port: 9999 # 执行器端口号
      ### job log path job文件的执行日志
      logpath: ./data/applogs/executor/jobhandler
      ### job log retention days
      logretentiondays: 30
    ### job, access token
    accessToken:

  executor:
      #  datax json临时文件保存路径
    jsonpath: E:\datax\datax-web\temp\executor
    #jsonpath: ${json.path}

  # Datax执行文件datax.py的地址
  pypath: E:\datax\datax\bin\datax.py
  #pypath: ${python.path}

4.启动

运行datax_admin下 的DataXAdminApplication

Datax-web入门配置与启动

运行datax_executor下 的DataXExecutorApplication

Datax-web入门配置与启动

看个人习惯Run 或者 Debug 

 首次启动后,之后的启动可以直接选择左下角的spring boot启动

启动成功

Datax-web入门配置与启动

 三个地址,两个接口文档地址,一个前端页面地址

5.配置hadoop

一般情况下,在启动后,控制台会报缺少hadoop的错误

就像下面这样,DataXAdminApplication运行一会儿会报错

Datax-web入门配置与启动

需要配置hadoop的环境变量

GitHub - srccodes/hadoop-common-2.2.0-bin: hadoop-common-2.2.0/bin

下载压缩包后,解压即可

配置环境变量

HADOOP_HOME

D:\hadoop-common-2.2.0-bin-master

Datax-web入门配置与启动

Datax-web入门配置与启动

在系统变量Path中添加  %HADOOP_HOME%\bin

Datax-web入门配置与启动

 环境变量配置后,再次启动Datax-web就不再有报错文章来源地址https://www.toymoban.com/news/detail-483037.html

到了这里,关于Datax-web入门配置与启动的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • datax-web登陆时出现账号密码错误

    目录的位置:datax-web-2.1.2/modules/datax-admin/bin/console.out 发现了java程序没有跑起来,解决对应的bug问题即可,一般都是数据库连接的问题,可能和使用的数据库版本什么的有关系

    2024年02月14日
    浏览(47)
  • 【DataX-Web的搭建(Windows/Linux环境)

    备注:我本地目录规划, 统一放到文件夹: D:javaProjectssync-datadatax D:javaProjectssync-datadatax-web (1) 安装 python3 (配置环境变量),但从github上下载的版本只支持python2.x版本,而现在python3.x正流行,这给我们带来不少麻烦。 datax 支持Python3需要修改替换datax/bin下面的三个pyt

    2024年02月08日
    浏览(38)
  • dataX3.0和datax-web部署实践踩坑记录(windows版)

    今年公司需要上一个数据分析项目,在考察了一番(百度一番)之后决定上datax加上datax-web的方式来进行数据调度。 PS:写在前面,主要作用是为了自己以后再次(跳槽)部署而写下的记录。 持续更新中... ... 注意: 这里的链接是指向的github的开发文档 。下载dataX需要拉到下

    2024年02月20日
    浏览(37)
  • centos7-datax和datax-web安装以及安装中问题的解决

    一、下载这些软件(见)   系统变量设置(安装 maven和jdk略) vi /etc/profile JAVA_HOME=/usr/local/jdk1.8.0_40 CLASSPATH=$JAVA_HOME/lib/ PATH=$PATH:$JAVA_HOME/bin DATAX_HOME=/usr/local/datax PATH=$PATH:$DATAX_HOME/bin   export MAVEN_HOME=/usr/local/apache-maven-3.6.3 export PATH=$PATH:$MAVEN_HOME/bin   生效系统变量 source /etc/p

    2024年02月10日
    浏览(39)
  • Centos7.9通过datax-web2.0_用Datax3.0进行增量同步_增量删除_数据更新---大数据之DataX工作笔记006

     1.注意这里的增量同步,不像之前用的DBsyncer或者是,NIFI中的利用binlog的形式,实现真正的实时的数据同步.  2.这里的增量是,指定通过ID,或者时间来进行增量,比如大于2023-07-03 11:44:56的数据仅仅同步这个,或者是,id大于多少的这样,这里建议用时间,因为如果有id用的字符串咋弄来

    2024年02月10日
    浏览(39)
  • 数据同步工具—DataX—Web部署使用

    以前了解datax,感觉对易用性不大好,目前发现已经图形配置工具。简单整理一下。 Datax 的使用过程中,我们会发现,不管是利用 java 调用以及 python 命令启动的方式,我们都无法进行任务的管理,并且每次执行任务前,我们 都需要编辑 Json 配置文件,这是比较繁琐的,随着业

    2024年02月05日
    浏览(42)
  • SpringBoot测试配置属性与启动web环境

    目录  加载测试专用的属性 运行结果 使用外部bean对测试 运行结果 测速类启动web环境 我们在测试类中  运行结果  点开@SpringBootTest源码中查看 可以在之后加入临时配置, 也可以使用命令行args参数设置。 设置的测试专用参数会覆盖配置文件中的。 运行结果 也可以使用命令

    2023年04月26日
    浏览(45)
  • DataX从入门实战到精通一文搞定

    1.1、什么是 DataX DataX 是阿里巴巴开源的一个异构数据源离线同步工具,致力于实现包括关系型数据库(MySQL、Oracle 等)、HDFS、Hive、ODPS、HBase、FTP 等各种异构数据源之间稳定高效的数据同步功能。 1.2、DataX 的设计 为了解决异构数据源同步问题,DataX 将复杂的网状的同步链路变

    2023年04月17日
    浏览(28)
  • datax的使用以及参数解释,快速入门版

    本文我们介绍一下datax的基础用法,让初学者能够实现快速入门,即刻应用 首先,来了解一下datax是什么,datax简单可以理解为数据同步的一个工具,将一个系统中存储的数据存储到另一个系统中。 举例来说,我们将数据存储到了HDFS中,但是现在我们想要使用这些数据来进行

    2024年02月12日
    浏览(47)
  • 使用IntelliJ IDEA和VSCode搭建datax-web-ui开发环境

    记录 :376 场景 :使用IntelliJ IDEA搭建datax-web-ui开发环境。使用VSCode搭建datax-web-ui开发环境。 版本: node-v14.17.3 npm-6.14.13 datax-web-ui开源地址 :https://github.com/WeiYe-Jing/datax-web-ui 一、使用IntelliJ IDEA搭建datax-web-ui开发环境 1.安装nodejs和npm 1.1下载地址 官网地址:https://nodejs.org/dist

    2024年02月10日
    浏览(51)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包