文章来源:https://www.toymoban.com/news/detail-798202.html
1.场景分析
先有需求需要查询hive数仓数据并将结果保存到本地,但是在操作过程中总会有日志信息和表头信息一起保存到本地,不符合业务需要,那如何才能解决该问题呢?
废话不多少,直接上代码介绍:文章来源地址https://www.toymoban.com/news/detail-798202.html
2.问题解决
2.1 提高hive日志级别
#1、进入hive安装路径的conf目录下;
#2、创建log4j.properties;
#3、把以下内容写入到log4j.properties,并保存退出;
# 以下是把日志等级设置为WARN; 还可以设置INFO,DEBUG,可以按自己的要求进行相关的设置;
log4j.rootLogger=WARN,CA
log4j.appender.CA=org.apache.log4j.ConsoleAppender
log4j.appender.CA.layout=org.apache.log4j.PatternLayout
log4j.appender.CA.layout.ConversionPattern=%-4r [%t] %-5p %c %x - %m%n
2.2 hive命令行设置不打印表头以及WARN日志处理
#!/bin/bash
sql="
#设置不打印表头
set hive.cli.print.header=false;
show tables;
"
#hive 命令行 -S配置时静默输出的意思,实测没啥用,还是需要单独处理
hive -S -e "$qsql" > test.txt
#去除warn信息
#将输出的文件test.txt带有org.apache.hadoop.hive关键字的行全部删除,此处可根据自己的信息自行配置
sed -i '/org.apache.hadoop.hive/d' test.txt
到了这里,关于Hive命令行运行SQL将数据保存到本地如何去除日志信息的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!