大数据开发之Hive案例篇12：HDFS rebalance 一例

相关文章

• 大数据开发之Hive案例篇10-大表笛卡尔积优化

  需求描述: 表概述: 需要实现的需求 SQL代码: 运行日志: 从日志可以看到，数据倾斜了，redcue一直卡在99%不动，过一段时间就被断开了。 web页面日志: 从web页面可以看到，reduce被kill的原因是Container被ApplicationMaster给kill掉了 过一段时间整个Job都被kill掉了 因为reduce卡在了99%，所以

  2024年02月09日

  浏览(74)

• 大数据开发之Hive案例篇9-Not yet supported place for UDAF ‘count‘

  一个很简单的group by和count(*) 操作，然后居然报错了 大概是在Oracle MySQL上写SQL写习惯了，以为可以这么写。 出了问题也是不知道从何排查 后面把order by子句注释掉之后，居然就可以了，那么就是order by 后面不能跟聚合函数了 于是使用了聚合函数的别名，问题搞定 修改为如下

  2024年02月06日

  浏览(41)

• [大数据 Sqoop,hive,HDFS数据操作]

  目录 🥗前言: 🥗实现Sqoop集成Hive,HDFS实现数据导出 🥗依赖: 🥗配置文件: 🥗代码实现: 🥗控制器调用: 🥗Linux指令导入导出: 🥗使用Sqoop将数据导入到Hive表中。例如： 🥗使用Sqoop将数据从Hive表导出到MySQL中。例如： 🥗使用Sqoop将数据导入到HDFS中。例如： 🥗使用Sqoop将数据

  2024年02月09日

  浏览(30)
• 

  【Hive】安装配置及导入Hdfs数据

  大家好！我是初心，很高兴再次和大家见面。 今天跟大家分享的文章是 Hive的安装以及导入Hdfs的数据到Hive中 ，希望能帮助到大家！本篇文章收录于 初心 的 大数据 专栏。 🏠 个人主页：初心%个人主页 🧑 个人简介：大家好，我是初心，和大家共同努力 💕 欢迎大家：这里

  2024年02月09日

  浏览(81)

• HDFS 跨集群数据同步（hive,hadoop）

  两个不同的HDFS 集群数据迁移( A集群的数据 - B 集群) 采用的是 SHELL 脚本  按表进行; 日期分区进行; #!/bin/bash ##################### #创建人:DZH #创建日期: 2020-04 #内容： 数据迁移 ##################### ##################################### [ \\\"$#\\\" -ne 0 ] FILE=$1 path=$(cd `dirname $0`; pwd) ############## 获取执

  2024年04月27日

  浏览(36)

• xslx表格文件采集到hdfs流程&hdfs数据 load到hive表

  咱们就是说，别的话不多说，直接开始实操 xslx在win系统上，打开后另存为csv文件格式，上传到linux系统中。（注意下编码格式，不然后面就是中文乱码）。 file -i csv文件 可以查看文件现在的编码格式（编码格式不匹配会导致文件内中文乱码）。 修改文件的编码格式： iconv

  2024年01月25日

  浏览(31)

• 【Hive-基础】表数据的导出、导入（HDFS、本地）

  1、语法 （1） load data ：表示加载数据 （2） local ：表示从本地加载数据到hive表；否则从HDFS加载数据到hive表 （加local是从本地复制过去，不加local是从hdfs上剪切过去） （3） inpath ：表示加载数据的路径 （4） overwrite ：表示覆盖表中已有数据，否则表示追加 ​ （overwrite会把

  2024年01月21日

  浏览(30)
• 

  一百一十一、Hive——从HDFS到Hive的数据导入（静态分区、动态分区）

  分区表实际上就是对应一个 HDFS 文件系统上的独立的文件夹， Hive 中的分区就是分目录 ，把一个大的数据集根据业务需要分割成小的数据集。 在查询时通过 where 子句中的表达式选择查询所需要的指定的分区，这样的查询效率 会提高很多，所以我们需要把常常用在where 语句中

  2024年02月12日

  浏览(36)
• 

  【大数据Hive3.x数仓开发】窗口函数案例：连续N次登录的用户；级联累加求和；分组TopN

  对窗口函数的讲解part见：【大数据Hive3.x数仓开发】函数–窗口函数 自连接过滤实现 连续两天登陆的用户ID： 窗口函数lead()实现 功能:用于从当前数据中基于当前行的数据向后偏移取值 语法: lead(colName，N，defautValue) colName:取哪一列的值 N:向后偏移N行 defaultValue:如果取不到返回

  2023年04月17日

  浏览(25)

• datax 同步mongodb数据库到hive(hdfs)和elasticserch（es)

  1.mongodb版本：3.6.3。（有点老了，后来发现flinkcdc都只能监控一张表，多张表无法监控） 2.datax版本：自己编译的DataX-datax_v202210 3.hdfs版本：3.1.3 4.hive版本：3.1.2 1.增量数据：需要每隔1小时将mongodb中17个集合的数据同步至hive，因为有数据生成时间，才用datax查询方式，将上一个

  2023年04月23日

  浏览(33)