DATAX的安装和使用上遇到的问题和解决方案
1.DATAX-Web的安装和遇到的问题
1.datax-web安装流程:
https://github.com/WeiYe-Jing/datax-web/blob/master/doc/datax-web/datax-web-deploy.md
2.安装和使用遇到的问题
1.在运行json数据的时候有如下报错
/usr/bin/python: can’t find ‘main’ module in ‘’
原因:datax-web找不到datax启动文件(datax.py)
解决方案:
1.在安装datax-web的时候需要先安装好datax,datax安装教程https://github.com/WeiYe-Jing/datax-web/blob/master/userGuid.md,选择安装方法1。
2.在安装datax配置完成之后启动。遇到如下问题
根据报错找到datax/plugin/reader
下浏览了下面的文件,._hdfsreader
文件存在,但是里面没有`plugin.json。
解决方案:
删除datax/plugin/reader
下所有._xxxx
隐藏文件和datax/plugin/writer/
下所有._xxxx
隐藏文件
find /home/tools/datax/plugin/reader/ -type f -name "._*er" | xargs rm -rf
find /home/tools/datax/plugin/writer/ -type f -name "._*er" | xargs rm -rf
2.在部署运行datax-web的时候需要配置datax-web的配置文件env.properties(/modules/datax-execute/bin/env.properties)中的python-path属性为datax中配置文件的datax.py(路径是datax/bin/datax.py)。
3.解决完以上问题,进入datax-web的bin/目录,重启动web。浏览器输入部署的datax-web的地址
./stop-all.sh
./start-all.sh
2.datax的一般使用流程
1.配置所需数据源
2.任务构建
1.读取数据源的配置
2 .写入数据源配置
3.字段映射
4.构建执行json,配置要执行的corn表达式,执行方式等
文章来源:https://www.toymoban.com/news/detail-610658.html
3.结果
文章来源地址https://www.toymoban.com/news/detail-610658.html
到了这里,关于DATAX的安装和使用上遇到的问题和解决方案的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!