Hive命令行运行SQL将数据保存到本地如何去除日志信息

这篇具有很好参考价值的文章主要介绍了Hive命令行运行SQL将数据保存到本地如何去除日志信息。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

Hive命令行运行SQL将数据保存到本地如何去除日志信息,Hive相关,hive,sql,hadoop

1.场景分析

先有需求需要查询hive数仓数据并将结果保存到本地,但是在操作过程中总会有日志信息和表头信息一起保存到本地,不符合业务需要,那如何才能解决该问题呢?
废话不多少,直接上代码介绍:文章来源地址https://www.toymoban.com/news/detail-798202.html

2.问题解决

2.1 提高hive日志级别

#1、进入hive安装路径的conf目录下;
#2、创建log4j.properties;
#3、把以下内容写入到log4j.properties,并保存退出;
# 以下是把日志等级设置为WARN; 还可以设置INFO,DEBUG,可以按自己的要求进行相关的设置;
log4j.rootLogger=WARN,CA
log4j.appender.CA=org.apache.log4j.ConsoleAppender
log4j.appender.CA.layout=org.apache.log4j.PatternLayout
log4j.appender.CA.layout.ConversionPattern=%-4r [%t] %-5p %c %x - %m%n

2.2 hive命令行设置不打印表头以及WARN日志处理

#!/bin/bash
sql="
#设置不打印表头
set hive.cli.print.header=false;
show tables;
"
#hive 命令行 -S配置时静默输出的意思,实测没啥用,还是需要单独处理
hive  -S -e "$qsql" >  test.txt
#去除warn信息
#将输出的文件test.txt带有org.apache.hadoop.hive关键字的行全部删除,此处可根据自己的信息自行配置
sed -i '/org.apache.hadoop.hive/d' test.txt

到了这里,关于Hive命令行运行SQL将数据保存到本地如何去除日志信息的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • Baumer工业相机堡盟工业相机如何通过BGAPI SDK将相机图像数据用二进制的方式保存到本地(C++)

    ​ Baumer工业相机堡盟相机是一种高性能、高质量的工业相机,可用于各种应用场景,如物体检测、计数和识别、运动分析和图像处理。 Baumer的万兆网相机拥有出色的图像处理性能,可以实时传输高分辨率图像。此外,该相机还具有快速数据传输、低功耗、易于集成以及高度

    2023年04月08日
    浏览(36)
  • Spark on Hive及 Spark SQL的运行机制

    代码中集成Hive: Spark SQL底层依然运行的是Spark RDD的程序,所以说Spark RDD程序的运行的流程,在Spark SQL中依然是存在的,只不过在这个流程的基础上增加了从SQL翻译为RDD的过程 Spark SQL的运行机制,其实就是在描述如何将Spark SQL翻译为RDD程序 Catalyst内部具体的执行流程: 专业术

    2024年01月23日
    浏览(49)
  • 若依OSS如何支持本地上传,保存到服务器本地?

    SysOssController改动: ISysOssService改动: SysOssServiceImpl 改动: OssClient改动: windows配置: linux配置: 记得修改your.domain:8080为你自己服务器的接口ip或域名和端口。 数据示例:

    2024年04月16日
    浏览(39)
  • vscode如何查看文件的本地保存历史?

    有时候因为在git远程同步代码的时候,会导致保存的代码被同步掉,而且无法恢复,这个时候,查看本地保存历史就可以帮大忙。想要在vscode中显示某个文件在本地的保存历史,可以在扩展中安装Local History插件,可以很方便地解决这个问题。 1. 扩展中安装Local History插件 2.

    2024年02月13日
    浏览(42)
  • 【SparkSQL】SparkSQL的运行流程 & Spark On Hive & 分布式SQL执行引擎

    【大家好,我是爱干饭的猿,本文重点介绍、SparkSQL的运行流程、 SparkSQL的自动优化、Catalyst优化器、SparkSQL的执行流程、Spark On Hive原理配置、分布式SQL执行引擎概念、代码JDBC连接。 后续会继续分享其他重要知识点总结,如果喜欢这篇文章,点个赞👍,关注一下吧】 上一篇

    2024年02月04日
    浏览(48)
  • VR全景如何保存本地,一个按钮即可解决

    导语: 对于许多用户来说,保存VR全景作品到本地常常是一项繁琐而费时的任务。然而,现在有了蛙色3DVR平台,一切变得简单轻松,让您享受到便捷的离线导出体验。   平台为用户提供了专业的离线导出功能,使您能够轻松将VR全景作品保存到本地。与传统的离线导出方式相

    2024年02月11日
    浏览(123)
  • 【git】如何在本地保存git的密码

    这个其实在官网上也有,但是平时用的不多,基本弄过一次,长久受益。今天提交代码的时候,莫名其妙的叫我输入git密码,然而我早已忘记,于是乎就在网上找了很多命令在 Git Bash Here 上疯狂操作,结果搞蒙了;迫于无奈,只好在git官网上通过短信修改了git密码。 改完密码

    2024年02月15日
    浏览(39)
  • 记录--纯前端如何实现录屏并保存视频到本地

    作为一个资深的切图仔,我们难免会需要用到把自己写的页面的一些功能通过视频的方式分享给别人。还有一个场景,就是当我们面试的时候,我们需要把我们的屏幕分享给面试官看,那么这些都是怎么实 现的呢? 那么接下来我们就通过这篇文章来学习一下如何实现一个浏

    2024年02月08日
    浏览(47)
  • SQL中去除重复数据的几种方法,我一次性都告诉你​

    使用SQL对数据进行提取和分析时,我们经常会遇到数据重复的场景,需要我们对数据进行去重后分析。 以某电商公司的销售报表为例,常见的去重方法我们用到distinct 或者group by 语句, 今天介绍一种新的方法,利用窗口函数对数据去重。 【字段解释】 访客id:进入店铺浏览

    2024年02月06日
    浏览(51)
  • 将excel数据导入到SQL server数据库,SQL server引入导入excel报表,如何解决“未在本地计算机上注册“Microsoft.ACE.OLEDB.12.0”提供程序”问题

    目录 版本: 文章主要内容:  未在本地计算机上注册“Microsoft.ACE.OLEDB.12.0”提供程序 新版本不同的设置的地方:   SQL server2018、excel 2016 1、将excel数据导入到SQL server数据库, 2、SQL server引入导入excel报表, 3、如何解决“未在本地计算机上注册“Microsoft.ACE.OLEDB.12.0”提供程序

    2024年02月11日
    浏览(56)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包