DATAX的安装和使用上遇到的问题和解决方案

这篇具有很好参考价值的文章主要介绍了DATAX的安装和使用上遇到的问题和解决方案。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

DATAX的安装和使用上遇到的问题和解决方案

1.DATAX-Web的安装和遇到的问题

1.datax-web安装流程:

https://github.com/WeiYe-Jing/datax-web/blob/master/doc/datax-web/datax-web-deploy.md

2.安装和使用遇到的问题

1.在运行json数据的时候有如下报错

/usr/bin/python: can’t find ‘main’ module in ‘’
datax 字段映射,java,github,数据库
原因:datax-web找不到datax启动文件(datax.py)
解决方案:
1.在安装datax-web的时候需要先安装好datax,datax安装教程https://github.com/WeiYe-Jing/datax-web/blob/master/userGuid.md,选择安装方法1。
2.在安装datax配置完成之后启动。遇到如下问题
datax 字段映射,java,github,数据库
根据报错找到datax/plugin/reader下浏览了下面的文件,._hdfsreader文件存在,但是里面没有`plugin.json。
datax 字段映射,java,github,数据库
解决方案:

删除datax/plugin/reader下所有._xxxx隐藏文件和datax/plugin/writer/下所有._xxxx隐藏文件

find /home/tools/datax/plugin/reader/ -type f -name "._*er" | xargs rm -rf
find /home/tools/datax/plugin/writer/ -type f -name "._*er" | xargs rm -rf

2.在部署运行datax-web的时候需要配置datax-web的配置文件env.properties(/modules/datax-execute/bin/env.properties)中的python-path属性为datax中配置文件的datax.py(路径是datax/bin/datax.py)。

3.解决完以上问题,进入datax-web的bin/目录,重启动web。浏览器输入部署的datax-web的地址

./stop-all.sh

./start-all.sh

2.datax的一般使用流程

1.配置所需数据源

datax 字段映射,java,github,数据库
datax 字段映射,java,github,数据库

2.任务构建
1.读取数据源的配置

datax 字段映射,java,github,数据库

2 .写入数据源配置

datax 字段映射,java,github,数据库

3.字段映射

datax 字段映射,java,github,数据库

4.构建执行json,配置要执行的corn表达式,执行方式等

datax 字段映射,java,github,数据库
datax 字段映射,java,github,数据库

3.结果

datax 字段映射,java,github,数据库
datax 字段映射,java,github,数据库
datax 字段映射,java,github,数据库文章来源地址https://www.toymoban.com/news/detail-610658.html

到了这里,关于DATAX的安装和使用上遇到的问题和解决方案的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 使用序列化和反序列化函数archivedDataWithRootObject和unarchivedObjectOfClasses的使用和遇到问题及解决方案

    为何archiveRootObject和unarchiveObjectWithFile正常,而archivedDataWithRootObject和unarchivedObjectOfClasses一直报错。 [NSKeyedArchiver archiveRootObject:account toFile:path]; 和`c PPAccountModel *account = [NSKeyedUnarchiver unarchiveObjectWithFile:path]; 替换很简单,但是会一堆问题等着你解决,序列化和反序列全失败。

    2024年02月16日
    浏览(31)
  • 使用Deoldify模型来对视频影像复原(对运行时遇到的问题的做出的解决方案)

    第一次做Deoldify模型的复原,由于对该模型的使用不太清晰,搜索了一篇文章来查看,文章如下:https://blog.csdn.net/weixin_42512684/article/details/117376885   文章发布于21年,但是其作者提供的代码也是帮助解决了很多问题,但是由于作者所提供的模型如stable类型的模型已经无法下载

    2024年04月29日
    浏览(33)
  • vue2 element ui 的表格使用 sortablejs 拖拽列遇到的问题和解决方案

    项目使用 element ui 的表格实现拖动表头可改变列的宽度,又使用sortablejs实现表格的列可拖拽到其他列的位置,导致出现如下的一些问题: 1、某一列宽变大或变小后,只有当前列可拖拽,其他列无法拖拽。 解决方案:在列宽发生改变后,销毁当前拖拽实例,再重新创建拖拽

    2024年02月08日
    浏览(46)
  • 使用“Opencv“时遇到terminate called after throwing an instance of ‘cv::Exception‘问题的解决方案

    再跑SLAM14讲里面的例程的时候发现的问题 例如:在ch8中,执行光流法 optical_flow  : vision@ubuntu:~/slambook/slambook2/ch8/build$ ./optical_flow  出现以下问题: 我们一般都是在build文件夹下进行编译的。导致加载图片的路径出现错误。   主要是cpp文件中图片的路径没有识别到。 string

    2024年01月16日
    浏览(45)
  • C++ 遇到问题汇总及解决方案

    (1)错误信息 LNK1169 找到一个或多个多重定义的符号,如下图所示: (2)原因 多个文件中都包含main函数,main函数是程序启动入囗,出现多个时,程序不知道先启动哪个。 (3)解决方案 3.1、右键单击 不要运行的 C++源文件 - 选择“属性” 注意是不要运行的源文件 ,将在

    2024年02月05日
    浏览(43)
  • Flutter 插件开发遇到的问题及解决方案

    本文主要对笔者flutter插件开发过程中如下问题做了解决。 一、Flutter插件android模块中的代码报红问题解决 二、Flutter Plugin 开发中引入本地 aar 包报错的问题。 三、Flutter插件项目中获取到 Activity 1、在开发Flutter插件时,打开插件的android项目,准备编写native端的代码时,发现各

    2024年02月20日
    浏览(40)
  • (日常搬砖)windows 11 安装cython_bbox时,遇到问题‘error: Microsoft Visual C++ 14.0 or greater is required. ’解决方案

    安装百度飞桨时,执行指令 pip install -r requirements.txt ,报错。 检查一下错误,发现无法用pip安装Cython和cython_bbox。 参考FairMOT | win10下cython-bbox安装的心酸之路 成功安装了Cython。 接下来尝试以下两种方案安装cython_bbox: 直接在终端执行 pip install cython-bbox ,报错,此法作废。

    2024年02月07日
    浏览(43)
  • JavaWeb中遇到404问题的几种解决方案

    检查XML路径配置 在Servlet中加入@WebServlet 检查class文件是否生成 博主最近也是被404问题所困扰,用过很多方法,现在来分享一点我自己的经验技巧,404问题主要是由于访问路径和XML中的配置存在了问题,现在提供几点解决思路(如果不准确,望见谅) 提示:以下是本篇文章正

    2024年02月08日
    浏览(52)
  • stm32平衡小车制作遇到的问题和解决方案分享

            1、电机带负载所引起的死区补偿问题         2、利用MPU6050传感器进行某一轴的角度测量问题         3、stm32串口通讯得到的数据用DMA转运问题         我选用的电机为直流减速电机,型号为GA25-370,是12V的电机。         电机运行分为带负载和不

    2024年01月18日
    浏览(39)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包