1. Toy模板网首页
  2. > Toy博客

Hadoop3.0大数据处理学习1（Haddop介绍、部署、Hive部署）

10月前 作者：Huathy-雨落江南，浮生若梦 分类：Toy博客 阅读(47) 违法举报

这篇具有很好参考价值的文章主要介绍了Hadoop3.0大数据处理学习1（Haddop介绍、部署、Hive部署）。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

Hadoop3.0快速入门

学习步骤：

  1. 三大组件的基本理论和实际操作
  2. Hadoop3的使用，实际开发流程
  3. 结合具体问题，提供排查思路

开发技术栈：

  • Linux基础操作、Sehll脚本基础
  • JavaSE、Idea操作
  • MySQL

Hadoop简介

Hadoop是一个适合海量数据存储与计算的平台。是基于Google的GoogleFS、Map Reduce、BigTable实现的。

分布式存储介绍

Hadoop3.0大数据处理学习1（Haddop介绍、部署、Hive部署）,Hadoop,大数据,hive,hadoop

Hadoop3.0大数据处理学习1（Haddop介绍、部署、Hive部署）,Hadoop,大数据,hive,hadoop

分布式计算介绍

  • 移动数据：数据 -> 计算程序
  • 移动计算：计算程序 -> 数据
  • 分布式计算：各个节点局部计算 -> 第二阶段汇总程序

Hadoop3.0大数据处理学习1（Haddop介绍、部署、Hive部署）,Hadoop,大数据,hive,hadoop

Hadoop三大核心组件

Hadoop3.0大数据处理学习1（Haddop介绍、部署、Hive部署）,Hadoop,大数据,hive,hadoop

HDFS（分布式存储系统）

架构分析：

  • HDFS负责海量数据的分布式存储。
  • 支持主从架构，主节点支持多个NameNode，从节点支持多个DataNode。
  • NameNode负责接收用户请求，维护目录系统的目录结构。DataNode主要负责存储数据。

MapReduce（分布式计算框架）

架构分析：

  • MapReduce是一个编程模型，主要负责海量数据计算，主要由两个阶段组成：Map和Reduce。
  • Map阶段是一个独立的程序，会在很多个节点上同时执行，每个节点处理一部分数据。
  • Reduce节点也是一个独立的程序，在这先把Reduce理解为一个单独的聚合程序即可。

Yarn（资源管理与调度）

架构分析：

  • 主要负责集权资源的管理和调度，支持主从架构，主节点最多可以有2个，从节点可以有多个。
  • 主节点（ResourceManager）进程主要负责集群资源的分配和管理。
  • 从节点（NodeManager）主要负责单节点资源管理。

大数据生态圈

Hadoop3.0大数据处理学习1（Haddop介绍、部署、Hive部署）,Hadoop,大数据,hive,hadoop

Hadoop安装部署

Hadoop发行版介绍

  • 官方版本：Apache Hadoop，开源，集群安装维护比较麻烦
  • 第三方发行版：Cloudera Hadoop（CDH），商业收费，使用Cloudera Manager安装维护比较方便
  • 第三方发行版：HortonWorks（HDP），开源，使用Ambari安装维护比较方便。

伪分布式集群安装部署（使用1台Linux虚拟机安装伪分布式集群）

1. 静态IP设置

192.168.56.101

2. 主机名设置（临时、永久）

cent7-1

3. hosts文件修改（配置IP与主机名映射关系）

cent7-1 localhost

4. 关闭防火墙（临时、永久）

systemctl status firewalld.service
systemctl stop firewalld
systemctl status firewalld.service

5. ssh免密登录

ssh-keygen -t rsa
cd /root
cd .ssh/
cat id_rsa
cat id_rsa.pub >> authorized_keys
ssh cent7-1

6. JDK1.8安装

tar -zxvf jdk-8u191-linux-x64.tar.gz 
vi /etc/profile
source /etc/profile

# profile配置内容
export JAVA_HOME=/home/jdk8
export PATH=.:$JAVA_HOME/bin:$PATH

7. Hadoop伪分布式安装

# 解压Hadoop
tar -zxvf hadoop-3.2.4.tar.gz 
# 进入配置文件目录
cd /home/hadoop-3.2.4/etc/hadoop

vi core-site.xml 

vi hdfs-site.xml
  1. 配置core-site.xml
<property>
  <name>fs.defaultFS</name>
  <value>hdfs://cent7-1:9000</value>
  <final>true</final>
</property>
<property>
  <name>hadoop.tmp.dir</name>
  <value>/home/hadoop_repo</value>
</property>
  1. 配置hdfs-site.xml
<!-- 指定HDFS副本的数量,伪分布式集群最多一个，也不支持多个 -->
<property>
   <name>dfs.replication</name>
   <value>1</value>
</property>
  1. 配置hdfs-site.xml
<!-- 指定MR运行在Yarn上 -->
<property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
</property>
  1. 配置yarn-site.xml
<!-- Reducer获取数据的方式 -->
<property>
 <name>yarn.nodemanager.aux-services</name>
 <value>mapreduce_shuffle</value>
</property>
<!-- 指定YARN的ResourceManager白名单 -->
<property>
  <name>yarn.nodemanager.env-whitelist</name>
  <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
</property>
  1. 配置 hadoop-env.sh
export JAVA_HOME=/home/jdk8
export HADOOP_LOG_DIR=/home/hadoop_repo/logs/hadoop
  1. 初始化hdfs
# 在Hadoop的目录下执行以下命令，
bin/hdfs namenode -format

看到以下内容说明执行成功！注意：hdfs格式化只能执行一次，如果失败需要删除文件夹后再进行格式化。
Hadoop3.0大数据处理学习1（Haddop介绍、部署、Hive部署）,Hadoop,大数据,hive,hadoop

启动

[root@cent7-1 hadoop-3.2.4]# sbin/start-all.sh
Starting namenodes on [cent7-1]
ERROR: Attempting to operate on hdfs namenode as root
ERROR: but there is no HDFS_NAMENODE_USER defined. Aborting operation.
Starting datanodes
ERROR: Attempting to operate on hdfs datanode as root
ERROR: but there is no HDFS_DATANODE_USER defined. Aborting operation.
Starting secondary namenodes [cent7-1]
ERROR: Attempting to operate on hdfs secondarynamenode as root
ERROR: but there is no HDFS_SECONDARYNAMENODE_USER defined. Aborting operation.
Starting resourcemanager
ERROR: Attempting to operate on yarn resourcemanager as root
ERROR: but there is no YARN_RESOURCEMANAGER_USER defined. Aborting operation.
Starting nodemanagers
ERROR: Attempting to operate on yarn nodemanager as root
ERROR: but there is no YARN_NODEMANAGER_USER defined. Aborting operation.
# 提示缺少hdfs、yarn的用户信息
  1. 配置start-dfs.sh、stop-dfs.sh
vi sbin/start-dfs.sh
vi sbin/stop-dfs.sh 
#增加配置
HDFS_DATANODE_USER=root
HADOOP_SECURE_DN_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root
  1. 配置
vi sbin/start-yarn.sh 
vi sbin/stop-yarn.sh 
#增加配置
YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root
  1. 再次启动
[root@cent7-1 hadoop-3.2.4]# sbin/start-all.sh 
WARNING: HADOOP_SECURE_DN_USER has been replaced by HDFS_DATANODE_SECURE_USER. Using value of HADOOP_SECURE_DN_USER.
Starting namenodes on [cent7-1]
上一次登录：三 8月 30 19:05:12 CST 2023从 192.168.56.1pts/1 上
Starting datanodes
上一次登录：三 8月 30 21:02:51 CST 2023pts/0 上
localhost: Warning: Permanently added 'localhost' (ECDSA) to the list of known hosts.
Starting secondary namenodes [cent7-1]
上一次登录：三 8月 30 21:02:56 CST 2023pts/0 上
Starting resourcemanager
上一次登录：三 8月 30 21:03:49 CST 2023从 192.168.56.1pts/3 上
Starting nodemanagers
上一次登录：三 8月 30 21:04:13 CST 2023pts/0 上
[root@cent7-1 hadoop-3.2.4]# jps
10146 NameNode
10386 DataNode
10883 SecondaryNameNode
11833 ResourceManager
12954 Jps
12155 NodeManager
# 展示除了jps外的五个Hadoop组件进程表示启动成功
  1. 浏览器确认启动成功
    • 访问HDFS：http://192.168.56.101:9870/
      Hadoop3.0大数据处理学习1（Haddop介绍、部署、Hive部署）,Hadoop,大数据,hive,hadoop
    • 访问Hadoop：http://192.168.56.101:8088/
      Hadoop3.0大数据处理学习1（Haddop介绍、部署、Hive部署）,Hadoop,大数据,hive,hadoop

停止

sbin/stop-all.sh

分布式集群安装部署（使用3台Linux虚拟机安装分布式集群）

客户端节点安装介绍

HIVE安装部署

mysql安装部署

yum install mysql

hive下载与部署

apache-hive-hive-3.1.3安装包下载_开源镜像站-阿里云 (aliyun.com)
source /etc/profile

export HIVE_HOME=/home/hive
export PATH=$HIVE_HOME/bin:$PATH

配置hive/conf/hive-site.xml文件文章来源地址https://www.toymoban.com/news/detail-716509.html

<configuration>  
<property>  
        <name>javax.jdo.option.ConnectionURL</name>  
        <value>jdbc:mysql://cent7-1:3306/hive?createDatabaseIfNotExist=true&amp;useSSL=false</value>  
</property>  
<property>  
        <name>javax.jdo.option.ConnectionDriverName</name>
        <value>com.mysql.jdbc.Driver</value>  
</property>  
<property>  
        <name>javax.jdo.option.ConnectionUserName</name>
        <value>hdp</value>  
</property>  
<property>  
        <name>javax.jdo.option.ConnectionPassword</name>
        <value>admin</value>  
</property>  
<!--自定义远程连接用户名和密码-->
<property>
        <name>hive.server2.authentication</name>
        <value>CUSTOM</value><!--默认为none，修改成CUSTOM-->
</property>
<!--指定解析jar包-->
<property>
        <name>hive.server2.custom.authentication.class</name>
        <value>com.ylw.CustomHiveServer2Auth</value>
</property>  
<property>
   <name>hive.server2.custom.authentication.file</name>
   <value>/home/hive/user.pwd.conf</value>
</property>
<!--设置用户名和密码-->
<property>
        <name>hive.jdbc_passwd.auth.root</name><!--用户名为最后一个:root-->
        <value>admin</value>
</property>  
<property>
        <name>hive.metastore.port</name>
        <value>9083</value>
        <description>Hive metastore listener port</description>
</property>
<property>
        <name>hive.server2.thrift.port</name>
        <value>10000</value>
        <description>Port number of HiveServer2 Thrift interface when hive.server2.transport.mode is 'binary'.</description>
</property>
<property>
        <!-- <value>新的最大工作线程数</value>-->
  <name>hive.server2.thrift.max.worker.threads</name>
  <value>200</value>
</property>
<property>
        <name>hive.metastore.local</name>
        <value>false</value>
        <description>controls whether to connect to remote metastore server or open a new metastore server in Hive Client JVM</description>
</property>
<property>
        <name>hive.server2.transport.mode</name>
        <value>binary</value>
        <description>
         Expects one of [binary, http].
         Transport mode of HiveServer2.
        </description>
</property>
</configuration>

启动与停止hive

nohup hive --server metastore &
nohup hive --service hiveserver2 &
jps
#看到是否有两个runJar ，如果有说明启动成功
# 查看端口占用
netstat -anop |grep 10000
ps -aux|grep hive

到了这里，关于Hadoop3.0大数据处理学习1（Haddop介绍、部署、Hive部署）的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处： 如若内容造成侵权/违法违规/事实不符，请点击违法举报进行投诉反馈，一经查实，立即删除！

分享到：
领支付宝红包 赞助服务器费用

相关文章

  • Hadoop大数据处理技术-初步了解Hadoop

    Hadoop大数据处理技术-初步了解Hadoop

    ​ 云计算，听起来就像是什么仙气十足的东西，但其实它并不神秘。简单来说，云计算就是通过网络（通常是互联网）来提供各种计算服务，包括存储、数据库、软件、网络等，而不是依靠个人计算机或本地服务器来处理。想象一下，就好像你可以通过互联网租用一台强大的

    2024年04月22日
    浏览(37)
  • 大数据处理架构Hadoop

    大数据处理架构Hadoop

    Hadoop是Apache软件基金会旗下的一个 开源分布式计算平台 ，为用户提供了系统底层细节透明的分布式基础架构 Hadoop是 基于Java语言开发 的，具有很好的跨平台特性，并且可以部署在廉价的计算机集群中 Hadoop的核心是 分布式文件系统HDFS（Hadoop Distributed File System）和MapReduce Ha

    2024年02月09日
    浏览(36)
  • Hadoop大数据处理与分析教程

    Hadoop大数据处理与分析教程

    本文所需文件(Vmware虚拟机、密匙、乌班图系统、JDK、Hadoop） 链接：https://pan.baidu.com/s/1yU5s36Rgl_jE_mAmHsJBfQ?pwd=i5s6  提取码：i5s6 (1)安装ssh (2)产生SSH Key (3)将公钥放到许可证文件中 (4)更改权限 (5)验证是否可以免密登录本机（下图为登录成功界面）  （6）退出ssh连接 （1）查看V

    2024年02月09日
    浏览(45)

  • 利用Hadoop处理离线数据：Hive和Spark离线数据处理实现

    作者：禅与计算机程序设计艺术 引言 随着大数据时代的到来，越来越多的数据产生于各种业务系统。这些数据往往需要在离线环境中进行处理，以降低数据处理的时间和成本。Hadoop作为目前最为流行的分布式计算框架，提供了强大的离线数据处理能力。Hive和Spark作为Hadoop生

    2024年02月11日
    浏览(43)

  • Python数据攻略-Hadoop集群中PySpark数据处理

    Hadoop是一个开源的分布式存储和计算框架。它让我们可以在多台机器上存储大量的数据，并且进行高效的数据处理。简而言之，Hadoop就像一个巨大的仓库，可以存放海量的数据，并且有高效的工具来处理这些数据。

    2024年02月07日
    浏览(46)

  • 基于Hadoop的云计算与大数据处理技术

    一、实验目的 1.了解Scala语言的基本语法 2.了解Spark Scala开发的原理 3.了解Spark Java API的使用 4.了解Spark的Scala API及Java API对数据处理的不同点 二、实验内容  某电商网站记录了大量用户对商品的收藏数据，并将数据存储在名为buyer_favorite1的文件中，数据格式以及数据内容如下

    2024年02月04日
    浏览(39)
  • Hadoop是一个开源的分布式处理系统，主要用于处理和存储大量数据

    Hadoop是一个开源的分布式处理系统，主要用于处理和存储大量数据

    Hadoop是一个开源的分布式处理系统，主要用于处理和存储大量数据。它是由Apache软件基金会开发的，现在已经成为大数据领域中广泛使用的技术之一。 Hadoop架构 Hadoop的架构包括以下几个主要组件： Hadoop Distributed File System (HDFS) : HDFS是Hadoop的核心组件之一，它是一个分布式文

    2024年02月04日
    浏览(58)

  • Hadoop与Spark：大数据处理框架的比较与选择

    Hadoop与Spark：大数据处理框架的比较与选择 在大数据的时代背景下，数据处理和分析的需求日益增长。为了满足这些需求，开发者们创造了许多大数据处理框架，其中最为人们熟知的可能就是Hadoop和Spark了。这两者各有其优势，选择哪一个取决于你的具体需求。下面我们将对

    2024年01月25日
    浏览(42)
  • Python与大数据：Hadoop、Spark和Pyspark的应用和数据处理技巧

    Python与大数据：Hadoop、Spark和Pyspark的应用和数据处理技巧

      在当今的数字时代，数据成为了无处不在的关键资源。大数据的崛起为企业提供了无限的机遇，同时也带来了前所未有的挑战。为了有效地处理和分析大规模数据集，必须依靠强大的工具和技术。在本文中，我们将探讨Python在大数据领域的应用，重点介绍Hadoop、Spark和Pysp

    2024年02月16日
    浏览(44)
  • 数据分享|基于Python、Hadoop零售交易数据的Spark数据处理与Echarts可视化分析

    数据分享|基于Python、Hadoop零售交易数据的Spark数据处理与Echarts可视化分析

    案例数据集是在线零售业务的交易数据，采用Python为编程语言，采用Hadoop存储数据，采用Spark对数据进行处理分析，并使用Echarts做数据可视化。由于案例公司商业模式类似新零售，或者说有向此方向发展利好的趋势，所以本次基于利于公司经营与发展的方向进行数据分析。

    2024年02月11日
    浏览(49)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包，优惠每天领

二维码1

领取红包

二维码2

领红包