使用Docker部署DataX3.0+DataX-Web-Toy模板网

这篇具有很好参考价值的文章主要介绍了使用Docker部署DataX3.0+DataX-Web。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

1、准备基础镜像，开通所需端口

先查看3306和9527端口是否开放，如果未开放先在防火墙添加

firewall-cmd --zone=public --add-port=3306/tcp --permanent
firewall-cmd --zone=public --add-port=9527/tcp --permanent
firewall-cmd --reload
systemctl stop docker
systemctl restart docker

拉取镜像

docker pull linshellfeng/datax_web:3.0.1

或者

docker pull swr.cn-north-1.myhuaweicloud.com/softwares/datax-web:2.1.2

注意：datax_web:3.0.1镜像已经整合了datax3.0和datax-web，整合后的镜像大小约990M

2、初始化数据库

下载DataX-Web源码

https://github.com/WeiYe-Jing/datax-web
1.IDEA编译打包
下载链接：https://pan.baidu.com/s/13a8nIpz6FL8y4fdE94trjQ 提取码：data
2.官方提供的版本tar版本包
https://pan.baidu.com/s/13yoqhGpD00I82K4lOYtQhg 提取码：cpsk

创建数据库

mysql> create database datax_web;

解压DataX-Web压缩包

# 找到 bin/db/datax_web.sql 文件，进行初始化

3、在宿主机创建挂载文件

在宿主机创建/usr/datax/datax-web/datax-admin/conf目录，并将bootstrap.properties拷贝到/usr/datax/datax-web/datax-admin/conf目录下，该文件用来配置datax-web连接数据库的信息，ip地址和xxxxxx需要按实际情况填写。

bootstrap.properties内容参考如下：

#Database
DB_HOST=192.168.1.xx
DB_PORT=3306
DB_USERNAME=datax_web
DB_PASSWORD=xxxxxx
DB_DATABASE=datax_web_db

4、启动容器

docker run -d --name datax_web -p 9527:9527 -v /usr/datax/datax-web/datax-admin/conf/bootstrap.properties:/home/datax/datax-web-2.1.2/modules/datax-admin/conf/bootstrap.properties linshellfeng/datax_web:3.0.1

或者

docker run -d --name datax_web -p 9527:9527 -v /usr/datax/datax-web/datax-admin/conf/bootstrap.properties:/home/datax/datax-web-2.1.2/modules/datax-admin/conf/bootstrap.properties swr.cn-north-1.myhuaweicloud.com/softwares/datax-web:2.1.2

5、进入容器内部（非必要步骤，用来测试datax_web容器是否正常启动）

docker exec -it datax_web /bin/bash

6、测试是否datax-web服务是否正常启动

在容器内：curl http://127.0.0.1:9527/index.html
使用浏览器访问宿主机服务：http://宿主机ip:9527/index.html

使用admin/123456登录后及时修改密码

7、异常处理

当运行时：

[AnalysisStatistics.analysisStatisticsLog-53] com.alibaba.datax.common.exception.DataXException: Code:[Framework-03], Description:[DataX引擎配置错误，该问题通常是由于DataX安装错误引起，请联系您的运维解决 .]. - 在有总bps限速条件下，单个channel的bps值不能为空，也不能为非正数。
在com\alibaba\datax\core\util\container\CoreConstant.java源码中

public static final String DATAX_JOB_SETTING_SPEED_BYTE = "job.setting.speed.byte";

public static final String DATAX_JOB_SETTING_SPEED_RECORD = "job.setting.speed.record";



public static final String DATAX_CORE_TRANSPORT_CHANNEL_SPEED_BYTE = "core.transport.channel.speed.byte";

public static final String DATAX_CORE_TRANSPORT_CHANNEL_SPEED_RECORD = "core.transport.channel.speed.record";

com\alibaba\datax\core\job\JobContainer.java源码中

boolean isByteLimit = (this.configuration.getInt(
                CoreConstant.DATAX_JOB_SETTING_SPEED_BYTE, 0) > 0);
if (isByteLimit) {
            long globalLimitedByteSpeed = this.configuration.getInt(
                    CoreConstant.DATAX_JOB_SETTING_SPEED_BYTE, 10 * 1024 * 1024);

            // 在byte流控情况下，单个Channel流量最大值必须设置，否则报错！
            Long channelLimitedByteSpeed = this.configuration
                    .getLong(CoreConstant.DATAX_CORE_TRANSPORT_CHANNEL_SPEED_BYTE);
            if (channelLimitedByteSpeed == null || channelLimitedByteSpeed <= 0) {
                throw DataXException.asDataXException(
                        FrameworkErrorCode.CONFIG_ERROR,
                        "在有总bps限速条件下，单个channel的bps值不能为空，也不能为非正数");
            }

即下方的core.transport.channel.speed.byte和job.setting.speed.byte需要同时进行设置或全都不设置

{
  "core": {
    "transport": {
      "channel": {
        "speed": {
          "byte": 2000000   #大于0的数
        }
      }
    }
  },
  "job": {
    "setting": {
      "speed": {
        "channel": 3,
        "byte": 1048576  #大于0的数
      },

com\alibaba\datax\core\job\JobContainer.java源码中

boolean isRecordLimit = (this.configuration.getInt(
                CoreConstant.DATAX_JOB_SETTING_SPEED_RECORD, 0)) > 0;
        if (isRecordLimit) {
            long globalLimitedRecordSpeed = this.configuration.getInt(
                    CoreConstant.DATAX_JOB_SETTING_SPEED_RECORD, 100000);

            Long channelLimitedRecordSpeed = this.configuration.getLong(
                    CoreConstant.DATAX_CORE_TRANSPORT_CHANNEL_SPEED_RECORD);
            if (channelLimitedRecordSpeed == null || channelLimitedRecordSpeed <= 0) {
                throw DataXException.asDataXException(FrameworkErrorCode.CONFIG_ERROR,
                        "在有总tps限速条件下，单个channel的tps值不能为空，也不能为非正数");
            }

即构建的json文件中的core.transport.channel.speed.record和job.setting.speed.record需要同时进行设置或全都不设置。文章来源地址https://www.toymoban.com/news/detail-850407.html

到了这里，关于使用Docker部署DataX3.0+DataX-Web的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！