【ETL工具】本地环境IDEA远程DEBUG调试Flume代码-Toy模板网

这篇具有很好参考价值的文章主要介绍了【ETL工具】本地环境IDEA远程DEBUG调试Flume代码。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

【ETL工具】本地环境IDEA远程DEBUG调试Flume代码,ETL 工具,etl,intellij-idea,flume,flume代码调试,idea远程调试

🦄 个人主页——🎐个人主页 🎐✨🍁

🪁🍁🪁🍁🪁🍁🪁🍁 感谢点赞和关注，每天进步一点点！加油！🪁🍁🪁🍁🪁🍁🪁🍁

🦄 个人主页——🎐个人主页 🎐✨🍁

一、问题说明

二、操作步骤

2.1 idea创建远程调试

一、问题说明

Flume 自定义 HDFS-Sink，远程服务器进行部署flume打包好后的代码，本地监控远程flume程序端口，进行本地debug和学习Flume 整个运行流程和Event 数据结构学习。

二、操作步骤

2.1 bin/flume-ng 启动脚本配置

[root@hdp105 apache-flume-1.9.0-bin]# cat bin/flume-ng | grep JAVA_OPT
  $EXEC $JAVA_HOME/bin/java $JAVA_OPTS $FLUME_JAVA_OPTS "${arr_java_props[@]}" -cp "$FLUME_CLASSPATH" \
#JAVA_OPTS="-Xmx20m"
JAVA_OPTS="-Xmx1000m -Xdebug -Xrunjdwp:transport=dt_socket,address=8000,server=y,suspend=y"

2.2 idea创建远程调试

新增远程debug模式

【ETL工具】本地环境IDEA远程DEBUG调试Flume代码,ETL 工具,etl,intellij-idea,flume,flume代码调试,idea远程调试

选择 Remote 配置选项

【ETL工具】本地环境IDEA远程DEBUG调试Flume代码,ETL 工具,etl,intellij-idea,flume,flume代码调试,idea远程调试

填写flume 启动的服务器IP 和端口

【ETL工具】本地环境IDEA远程DEBUG调试Flume代码,ETL 工具,etl,intellij-idea,flume,flume代码调试,idea远程调试

远程启动flume程序，本地也启动该flume程序，打上断点。就可以了

bin/flume-ng  agent -n ipva_flume  --conf ./conf/  -f ./conf/traffic_ipva_DSCToHBase/traffic_ipva_DSCToHBase.conf -property "flume.monitoring.type=http;flume.monitoring.port=37242"

远程的flume 启动

【ETL工具】本地环境IDEA远程DEBUG调试Flume代码,ETL 工具,etl,intellij-idea,flume,flume代码调试,idea远程调试