👉👉首先我们需要知道Hadoop的基本概念，究竟是什么，还要了解可以用他来做什么，让我们一起接下来学习：
一、Hadoop是什么？
Hadoop是一个由Apache基金会所开发的分布式系统基础架构, 是一个存储系统+计算框架的软件框架。主要解决海量数据存储与计算的问题，是大数据技术中的基石。
Hadoop以一种可靠、高效、可伸缩的方式进行数据处理，用户可以在不了解分布式底层细节的情况下，开发分布式程序，用户可以轻松地在Hadoop上开发和运行处理海量数据的应用程序。
二、Hadoop能解决什么问题？
1、海量数据存储
HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（High throughput）来访问数据，适合那些有着超大数据集（large data set）的应用程序,它由n台运行着DataNode的机器组成和1台（另外一个standby）运行NameNode进程一起构成。每个DataNode 管理一部分数据，然后NameNode负责管理整个HDFS 集群的信息（存储元数据)。
2、资源管理，调度和分配
Apache Hadoop YARN（Yet Another Resource Negotiator，另一种资源协调者）是一种新的 Hadoop 资源管理器，它是一个通用资源管理系统和调度平台，可为上层应用提供统 一的资源管理和调度，它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨 大好处。
三、了解集群，分布式的概念🧐
什么是集群,什么是分布式?(多台服务器参与运行)
集群: 多台服务器共同完成相同的业务,就是一个集群.
分布式: 多台服务器共同完成不同的业务就是分布式.
安装部署层面说
单机部署
使用一台服务器安装所有服务
集群部署
使用多台服务器安装对应分布式服务
四、虚拟机的拷贝
1、纯净的虚拟机node01在Vmware中
（1.）右键node01----->管理----->克隆
（2）再修改机器名称即可
五、基础环境的搭建
1.主机名称修改: /etc/hostname
echo node1 > /etc/hostname
2.修改域名解析文件: /etc/hosts
后续搭建集群时使用域名访问电脑
在平时使用www.baidu.com域名访问时，最终会同dns服务器将域名解析为ip地址访问
echo '192.168.88.100 node1.itcast.cn node1' >> /etc/hosts echo '192.168.88.101 node2.itcast.cn node2' >> /etc/hosts echo '192.168.88.102 node3.itcast.cn node3' >> /etc/hosts
3.关闭防火墙
systemctl stop firewalld.service
4.禁用防火墙
systemctl disable firewalld.service
5.关闭SELinux: /etc/selinux/config
sed -i "s/enforcing/disabled/" /etc/selinux/config
6.时钟同步
ntpdate ntp4.aliyun.com # 内部服务器不允许上网，内部搭建一个时钟服务器 同步内部 ntpdate 192.168.88.3
7.设置静态ip地址: /etc/sysconfig/network-scripts/ifcfg-ens33
sed -i "s/dhcp/static/" /etc/sysconfig/network-scripts/ifcfg-ens33 echo 'IPADDR="192.168.88.100"' >> /etc/sysconfig/network-scripts/ifcfg-ens33 echo 'PREFIX="24"' >> /etc/sysconfig/network-scripts/ifcfg-ens33 echo 'GATEWAY="192.168.88.2"' >> /etc/sysconfig/network-scripts/ifcfg-ens33 echo 'DNS1="8.8.8.8"' >> /etc/sysconfig/network-scripts/ifcfg-ens33 sed -i "s/dhcp/static/" /etc/sysconfig/network-scripts/ifcfg-ens33 echo 'IPADDR="192.168.88.101"' >> /etc/sysconfig/network-scripts/ifcfg-ens33 echo 'PREFIX="24"' >> /etc/sysconfig/network-scripts/ifcfg-ens33 echo 'GATEWAY="192.168.88.2"' >> /etc/sysconfig/network-scripts/ifcfg-ens33 echo 'DNS1="8.8.8.8"' >> /etc/sysconfig/network-scripts/ifcfg-ens33 sed -i "s/dhcp/static/" /etc/sysconfig/network-scripts/ifcfg-ens33 echo 'IPADDR="192.168.88.102"' >> /etc/sysconfig/network-scripts/ifcfg-ens33 echo 'PREFIX="24"' >> /etc/sysconfig/network-scripts/ifcfg-ens33 echo 'GATEWAY="192.168.88.2"' >> /etc/sysconfig/network-scripts/ifcfg-ens33 echo 'DNS1="8.8.8.8"' >> /etc/sysconfig/network-scripts/ifcfg-ens33
8.创建软件安装目录
mkdir /export cd /export mkdir data logs server software
9.重启系统
init 6
六、Java环境安装
1.java文件上传解压: jdk-8u65-linux-x64.tar.gz
注意：上传文件位置为 /export/server目录
cd /export/server tar zxvf /export/server/jdk-8u65-linux-x64.tar.gz
2.修改环境变量
echo 'export JAVA_HOME=/export/server/jdk1.8.0_241' >> /etc/profile echo 'export PATH=$PATH:$JAVA_HOME/bin' >> /etc/profile echo 'export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar' >> /etc/profile source /etc/profile
3.验证
java -version
七、数据导论[了解]
日常生活中不断产生各类数据，通过对各类数据的分析，得到用户的行为习惯，发现用户的数据价值
八、大数据诞生[了解]
随着用户数据增多传统数据处理方式无法满足海量数据处理的需求，此时引入分布式技术
将海量数据进行分布式的存储，计算，资源调度
可以统一管理多台服务器进行存储和计算，把多台服务器当成一个整体
使用hadoop实现分布式存储，计算和资源调度
九、大数据概述[了解]
大数据主要解决海量数据的存储和计算
海量数据
excel KB MB 1MB=1024KB
mysql GB TB 1GB =1024 MB 1TB =1024GB
大数据 PB,EB（海量数据） 1PB=1024TB
KB < MB < GB < TB < PB < EB < ZB < YB
大数据的特点
-
数据量大 -
数据种类多
-
结构化数据
-
表
-
-
半结构化数据
-
xml
-
json
-
-
非结构数据
-
文本数据
-
-
-
数据低价值密度
-
分析用户的消费习惯
-
用户注册基本信息 姓名，性别，年龄 1个
-
用户的购买信息 订单数据 手机，2023-10-22 100个
-
用户浏览信息 浏览哪些商品 100个
-
用户访问信息 访问网站时间，地点，设备 100000条
-
1000201条数 有价值的数据200条
-
-
-
增长速度快
-
每天都会产生大量数据
-
-
数据结果质量高
-
对海量数据结果更接近真实情况
-
十一、大数据软件生态[了解]
Welcome to The Apache Software Foundation!
存储：Apache Hadoop HDFS、Apache HBase、Apache Kudu、云平台
计算：Apache Hadoop MapReduce、Apache Spark、Apache Flink
传输：Apache Kafka、Apache Pulsar、Apache Flume、Apache Sqoop
十二、Apache Hadoop概述[了解]
Hadoop的功能组件
HDFS分布式文件存储系统: 负责海量数据的存储工作
MapReduce分布式计算框架: 负责海量数据的计算工作
Yarn分布式资源调度工具: 负责分布式集群的资源调度工作
Hadoop发展
创始人: 道格·卡丁
Hadoop发行时间: 2008年
hadoop的发展受谷歌的三篇论文影响, 后被称为大数据发展的三驾马车
Hadoop版本
社区版: 开源免费
优点: 更新速度快,技术新
缺点: 兼容性差不稳定
商业版: CDH 将所有大数据相关组件都重写了一遍并进行了精细测试解决了兼容性问题和稳定性问题
优点: 兼容稳定性好
确定: 技术旧,收费
注意: 在企业级开发中我们使用的大多是商业版hadoop, CDH版本Hadoop在6.2.4版本之前是不收费的.
十三、为什么需要分布式存储[了解]
数据体量过大,存储在同一台服务器上空间不足,所以需要对于服务器进行扩展,多台服务共同存储超大文件
存储原理就是将大文件进行分割,分割后,将数据存储在不同的服务器内部文章来源：https://www.toymoban.com/news/detail-848745.html
此时不仅可以提供多台服务器的存储空间,同时可以增加服务器的读写效率,cpu,内存,网络带宽等.文章来源地址https://www.toymoban.com/news/detail-848745.html
到了这里，关于❤️❤️❤️关于Hadoop的初体验的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！
