L2 数据仓库和Hive环境配置

9月前作者：lee2813 分类：Toy博客阅读(42) 违法举报

这篇具有很好参考价值的文章主要介绍了L2 数据仓库和Hive环境配置。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

1.数据仓库架构

数据仓库DW主要是一个用于存储，分析，报告的数据系统。
数据仓库的目的是面向分析的集成化数据环境，分析结果为企业提供决策支持。
-DW不产生和消耗数据
结构数据：数据库中数据，CSV文件直接导入DW
非结构数据：基本数据处理后导入DW
针对部门需求可以做不同DW，为一个数据集市，最终目的是做一个数据应用，报表等

数据仓库分层

L2 数据仓库和Hive环境配置,数据仓库,hive,hadoop

数据仓库分层：针对多种数据表的情况，根据业务场景进行分层融合和合并。

用于报表的数据，每个指标出现了几次 —— 应用层

二、怎么实现数仓 - Hive

Hive是基于Hadop的DW工具，用来进行数据提取，转化，加载，是一种大规模数据机制。
Hive数据仓库工作将结构化的数据文件映射为一张数据库表，并提供SQL查询功能，能将SQL语句转变成MapReduce任务来执行。

利用Hive可以直接在SQL上层编写语句，通过SQL Parser解析器转换为Java程序。
元数据组件存放映射的表。

Hive特点：

适合ETL,报表查询，数据分析等数据仓库任务
Hive支持运行在不同的计算框架上，MapReduce,Spark等
支持Java数据库连接
避免编写复杂的MapReduce任务
可直接使用Hadoop文件系统中的数据

Hive和Hadoop

Hive利用HDFS存储数据，MapReduce查询分析数据
Hadoop是自己实现了上述两种能力。

Hive适应场景

Hive适用于结构化数据的离线分析
Hive的执行延迟较高
Hive适合处理大批量数据

Hive与MySql

Hive面向分析，MySql面向业务

3.Hive安装

最终直接写SQL语句就行，不要管MapReduce任务文章来源地址https://www.toymoban.com/news/detail-708199.html

到了这里，关于L2 数据仓库和Hive环境配置的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：如若内容造成侵权/违法违规/事实不符，请点击违法举报进行投诉反馈，一经查实，立即删除！

分享到：

领支付宝红包赞助服务器费用

大数据Hadoop之——部署hadoop+hive+Mysql环境（window11）

目录一、安装JDK8 1）JDK下载地址 2）设置环境变量二、Hadoop安装（window10环境） 1）下载Hadoop3.1.3 2）Hadoop配置环境变量 3）在hadoop解压目录下创建相关目录 4）修改Hadoop配置文件 1、core-site.xml文件：添加以下配置 2、hdfs-site.xml文件：添加以下配置，路径改成自己的安装路径 3、

2024年02月08日
浏览(44)
大数据环境搭建 Hadoop+Hive+Flume+Sqoop+Azkaban

Hadoop：3.1.0 CentOS：7.6 JDK：1.8 这里网上教程很多，就不贴图了【内存可以尽量大一些，不然Hive运行时内存不够】创建tools目录，用于存放文件安装包将Hadoop和JDK的安装包上传上去创建server目录，存放解压后的文件解压jdk 配置环境变量配置免密登录配置映射，配置ip地址和

2024年02月09日
浏览(41)
Hadoop——Hive运行环境搭建

Windows：10 JDK：1.8 Apache Hadoop：2.7.0 Apache Hive：2.1.1 Apache Hive src：1.2.2 MySQL：5.7 1、下载 Hadoop搭建 Apache Hive 2.1.1：https://archive.apache.org/dist/hive/hive-2.1.1/apache-hive-2.1.1-bin.tar.gz Apache Hive 1.2.2 src：https://archive.apache.org/dist/hive/hive-1.2.2/apache-hive-1.

2024年02月16日
浏览(36)
大数据平台环境搭建---- Hive&MySql数据库组件配置

前置环境 Hadoop集群必须部署完成，如果还没有搭建请先前往Hadoop全分布搭建笔记程序版本 hive 1.1.0 mysql 5.7.25 mysql-connector-java-5.1.39-bin.jar 资源下载官网下载： mysql-5.7.25-1.el7.x86_64.rpm-bundle.tar ：https://downloads.mysql.com/archives/community/ 链接：https://pan.xunlei.com/s/VNoQg4wdxda5by6L8Lvug9e

2024年01月25日
浏览(63)
Hadoop+Hive+Spark+Hbase开发环境练习

1.练习一 1. 数据准备在hdfs上创建文件夹，上传csv文件 [root@kb129 ~]# hdfs dfs -mkdir -p /app/data/exam 查看csv文件行数 [root@kb129 ~]# hdfs dfs -cat /app/data/exam/meituan_waimai_meishi.csv | wc -l 2. 分别使用 RDD和 Spark SQL 完成以下分析（不用考虑数据去重）开启spark shell [root@kb129 ~]# spark-shell （1）加载

2024年02月03日
浏览(49)
单机搭建hadoop环境（包括hdfs、yarn、hive）

单机可以搭建伪分布式hadoop环境，用来测试和开发使用，hadoop包括： hdfs服务器， yarn服务器，yarn的前提是hdfs服务器，在前面两个的基础上，课可以搭建hive服务器，不过hive不属于hadoop的必须部分。过程不要想的太复杂，其实挺简单，这里用最糙最快最直接的方法，在我的单

2024年02月20日
浏览(51)
Hadoop之Hive的安装配置（详细步骤）

配置前准备下载apache-hive-2.1.1-bin.tar.gz安装包并上传到XShell 在XShell上解压安装包输入解压命令：配置 1、配置环境变量在文件末尾增加如下内容：使环境变量生效进入 cd /home/ZQ/apache-hive-2.1.1-bin/conf/ 2、配置hive-env.sh 如果有hive-env.sh.template文件则输入下面的命令将 hive-

2024年02月04日
浏览(38)
【hadoop——Hive的安装和配置】保姆式教学

目录一.Hive的安装和配置 1.Hive并不是hadoop自带的组件，因此我们需要去下载hive，此次课我们使用hive 1.2.1版本，下载地址为： 2.下载完成之后，安装包默认保存在下载文件夹中，解压安装包apache-hive-1.2.1-bin.tar.gz至路径 /usr/local，命令如下： 3.然后切换至目录 /usr/local，将文

2023年04月22日
浏览(39)
数据仓库 & Apache Hive

目录一、数据分析 1、数据仓库 1.1、数仓专注分析 1.2、数仓主要特征 1.3、数据仓库主流开发语言--SQL 2、Apache Hive 2.1、为什么使用Hive？ 2.2、Hive和Hadoop关系 2.3、Hive架构图、各组件功能 2.4、Hive安装部署 2.4.1、Hive概念介绍 2.4.2、安装前准备数据仓库（英语：Data Warehous

2024年01月22日
浏览(47)
hive数据仓库工具

1、hive是一套操作数据仓库的应用工具，通过这个工具可实现mapreduce的功能 2、hive的语言是hql[hive query language] 3、官网hive.apache.org 下载hive软件包地址 Welcome! - The Apache Software Foundation https://archive.apache.org/ 4、hive在管理数据时分为元数据和真数据，其中元数据要保存在数据库中

2024年02月04日
浏览(34)