hive设置本地执行方式

这篇具有很好参考价值的文章主要介绍了hive设置本地执行方式。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

假如hive中的SQL语句执行时间太长,可以设置本地执行方式,设置本地执行模式可以优化执行速度,数据量小的时候,使用本地模式:。
方式一:(z)
在hive的配置文件 hive-env.sh中将一些配置注释解开

export HADOOP_HEAPSIZE=1024

在SQL绘画中执行一下语句:

set hive.exec.mode.local.auto=true;

方式二:(Y)

set hive.exec.mode.local.auto=true;
set hive.exec.mode.local.auto.inputbytes.max=134217728;
set hive.exec.mode.local.auto.input.files.max=4;

以上这些配置,都可以写在 hive 的conf 下的 .hiverc 文件中,当hive启动的时候,就会加载文章来源地址https://www.toymoban.com/news/detail-525636.html

在hive的家目录下的conf文件夹下,创建  .hiverc 文件
cd /opt/installs/hive/conf 下面
touch .hiverc

在这个文件的里面进行如下配置:
set hive.exec.mode.local.auto=true;
// 文件大小小于128M
set hive.exec.mode.local.auto.inputbytes.max=134217728;
// 分片数量小于等于4,相当于是4个map任务
set hive.exec.mode.local.auto.input.files.max=4;
每次不清楚当前在哪个数据库下面,需要使用
select current_database(); 查看才可以,非常的麻烦,
可以在.hiverc 中设置如下配置:
set  hive.cli.print.current.db=true;

到了这里,关于hive设置本地执行方式的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 【Hive】Hive在调用执行MapReduce进程时报错:FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.

    今天,在测试Hive时,碰到了以下错误: 从报错的内容上看,应该是调用MapReduce时出现了错误。 尽管查看日志,也没有明确的指出出现错误的原因: 于是,我便想到了用Hadoop来执行MapReduce来测试MapReduce的功能是否正常: 执行以上命令,发现调用MapReduce时确实出现了问题: 根

    2024年02月03日
    浏览(42)
  • github拉取自己的私有仓库(Token方式、本地秘钥方式)

    日常开发和学习过程中,经常碰到需要从GitHub或者其他类似网站,拉取私有仓代码的需求。本文将总结常用的两种方式,Token方式和本地秘钥方式,方便后续查阅和优化。 一、HTTPS的Token方式 (1)在GitHub个人主页,点击右上角头像,选择“Setting” (2)拉到最下面,选择“

    2024年02月12日
    浏览(37)
  • maven大全(概述、安装配置、设置本地仓库、IDEA中配置)

    目录 前言必读 一、概述(介绍) 1.什么是maven? 2.maven怎么使用? (重点!!!) 3.maven有什么作用? (1)提供了一套标准化的项目结构 (2)提供了标准化的构建流程(编译、测试、打包、发布) (3)提供了一套依赖管理机制 4.maven的生命周期 5.maven仓库的网址 二、mav

    2024年02月06日
    浏览(49)
  • 如何使用git从github拉取自己的私有仓库(Token方式、本地秘钥方式)

    创建TOKEN 在GitHub个人主页,点击右上角头像,选择“Setting” 选择“Developer settings” 选择“Personal access tokens”下的“Tokens (classic)” 点击“Generate new token”下的“Generate new token(classic)” 输入内容和勾选选项,点击最下方“Generate token”按钮 复制一下这个token 之后就可以使用这

    2024年02月03日
    浏览(54)
  • python,如何设置定时执行python代码-windows本地

    最近写了一个python小程序,希望能每天定时执行,但是又不想用jenkins这样的工具,后来发现windows本地就可以设置,而且很好用,具体步骤如下: 首先,需确保本地python代码已编写好,环境变量已配置好,能运行成功; 1)依次进入:控制面板-大图标-管理工具-任务计划程序

    2024年02月10日
    浏览(41)
  • gitee版本回退本地和仓库的执行步骤(后悔药,无副作用,按说明书使用)

    目录 1.本地回退 1.打开项目文件夹 3.回退到指定版本 4.选择回退模式并确认 5.本地回退成功  2.回退仓库版本 1.在git上面找到项目的提交记录 2.找到提交错误的版本​编辑 3.双击新页面这个版本进去 点击操作再点击revert​编辑 4.确认回退  ​5.仓库回退成功 在使用后悔药之前

    2024年02月04日
    浏览(44)
  • Hive数据仓库---Hive的安装与配置

    Hive 官网地址:https://hive.apache.org/ 下载地址:http://www.apache.org/dyn/closer.cgi/hive/ 把安装文件apache-hive-3.1.2-bin.tar.gz上传到master节点的/opt/software目 录下,执行以下命令把安装文件解压到/opt/app目录中 进入/opt/app目录,为目录apache-hive-3.1.2-bin建立软件链接 即输入hive就相当于输入a

    2024年02月02日
    浏览(40)
  • hive数据仓库工具

    1、hive是一套操作数据仓库的应用工具,通过这个工具可实现mapreduce的功能 2、hive的语言是hql[hive query language] 3、官网hive.apache.org 下载hive软件包地址  Welcome! - The Apache Software Foundation https://archive.apache.org/ 4、hive在管理数据时分为元数据和真数据,其中元数据要保存在数据库中

    2024年02月04日
    浏览(34)
  • Hive数据仓库

    数据仓库(英语:Data Warehouse,简称数仓、DW),是一个用于存储、分析、报告的数据系统。 数据仓库的目的是构建面相分析的集成化数据环境,分析结果为企业提供决策支持(Decision Support)。 数据仓库本身并不“产生”任何数据,其数据来源不同外部系统; 同时数据仓库

    2024年02月15日
    浏览(39)
  • Hive数据仓库简介

    Hive起源于Facebook,Facebook公司有着大量的日志数据,而Hadoop是实现了MapReduce模式开源的分布式并行计算的框架,可轻松处理大规模数据。然而MapReduce程序对熟悉Java语言的工程师来说容易开发,但对于其他语言使用者则难度较大。因此Facebook开发团队想设计一种使用SQL语言对日

    2024年02月15日
    浏览(55)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包