失眠大数据专家,手把手带你玩转大数据,HDFS三种搭建方式

这篇具有很好参考价值的文章主要介绍了失眠大数据专家,手把手带你玩转大数据,HDFS三种搭建方式。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

1、HDFS伪分布式搭建步骤:

(1) 配置免密登录 node01->node01

 ssh-keygen -t rsa 
 ssh-copy-id -i ~/.ssh/id_rsa.pub root@node01

(2) 配置JDK

 export JAVA_HOME=/opt/software/jdk/jdk1.8.0_151
export PATH=$PATH:$JAVA_HOME/bin 

(3) 修改hdfs-site.xml配置文件

<property>      
  <name>dfs.replication</name>     
<value>1</value>
</property>
<property>  
  <name>dfs.namenode.secondary.http-address</name> 
<value>node01:50090</value>
</property>

(4) 修改core-site.xml配置文件

<property> 
       <name>fs.defaultFS</name> 
       <value>hdfs://node01:9000</value>
</property>
<property>
        <name>hadoop.tmp.dir</name> 
       <value>/var/abc/hadoop/local</value>
</property>

(5) 修改slaves配置文件

修改为node01

(6) 格式化NameNode(创建目录以及文件) hdfs namenode -format

(7) 启动HDFS start-dfs.sh

(8) 操作HDFS文件系统

① 创建目录 hdfs dfs -mkdir -p /user/root

② 上传文件 hdfs dfs -D dfs.blocksize=1048576 -put文章来源地址https://www.toymoban.com/news/detail-847635.html

hdfs搭建,大数据,hdfs,hadoop

2、HDFS完全分布式搭建步骤:

(1) 时间同步

① 各个节点安装ntp命令yum install ntp

② 上网查找最新的时间服务器ntp1.aliyun.com

③ 同步时间ntpdate ntp1.aliyun.com

(2) 配置免密登录

node01->node01 node01->node02 node01->node03 node01->node04

① 所有节点执行 ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa

② 在node01节点执行,将node01的公钥加入到其他节点的白名单中 ssh-copy-id -i ~/.ssh/id_rsa.pub root@node01

ssh-copy-id -i ~/.ssh/id_rsa.pub root@node02

ssh-copy-id -i ~/.ssh/id_rsa.pub root@node03

ssh-copy-id -i ~/.ssh/id_rsa.pub root@node04

(3) 所有节点配置JDK

(4) 修改hdfs-site.xml配置文件

hdfs搭建,大数据,hdfs,hadoop

(5) 修改core-site.xml配置文件

<property> <name>fs.defaultFS</name> <value>hdfs://node01:9000</value></property><property> <name>hadoop.tmp.dir</name> <value>/var/abc/hadoop/cluster</value></property>

(6) 修改slaves配置文件

修改为node02 node03 node04

将配置好的安装包分发到其他节点上

scp -r hadoop-2.6.5 root@node02:/opt/software/hadoop/

(7) 将所有的HDFS相关的进程关闭

(8) 格式化NameNode(创建目录以及文件)在node01节点执行

① hdfs namenode -format

(9) 启动HDFS start-dfs.sh

(10) 操作HDFS文件系统

① 创建目录 hdfs dfs -mkdir -p /user/root

② 上传文件 hdfs dfs -D dfs.blocksize=1048576 -put

3、HDFS HA完全分布式搭建步骤:

集群规划:

hdfs搭建,大数据,hdfs,hadoop

(1) 配置免密登录

node01->node01 node01->node02 node01->node03 node01->node04

node02->node01

① 在node02节点执行,将node01的公钥加入到其他节点的白名单中 ssh-copy-id -i ~/.ssh/id_rsa.pub root@node01

(2) 所有节点配置JDK

(3) 修改hdfs-site.xml配置文件

hdfs搭建,大数据,hdfs,hadoop

hdfs搭建,大数据,hdfs,hadoop

(4) 修改core-site.xml配置文件

hdfs搭建,大数据,hdfs,hadoop

(5) 修改slaves配置文件

① 修改为node02 node03 node04

(6) 将配置好的HDFS安装包拷贝到node02 node03 node04

4、搭建zookeeper集群:

(1) node02上解压

(2) 修改conf目录下的zoo_sample.cfg的名称,改为zoo.cfg

① mv zoo_sample.cfg zoo.cfg

(3) 修改zoo.cfg

① dataDir=/var/zfg/zookeeper

② server.1=node02:2888:3888

③ server.2=node03:2888:3888

④ server.3=node04:2888:3888

(4) 在dataDir目录下创建一个myid文件,在这个文件中写上当前节点ID号

(5) 将配置好的zookeeper安装包拷贝到node03 node04

(6) 拷贝完毕后,在各自节点上创建myid号,ID号要依次递增

(7) zk节点bin下执行./zkServer.sh start

(8) 格式化NameNode(创建目录以及文件)

① 在node01、node02、node03分别执行如下命令

1) hadoop-daemon.sh start journalnode

② 随机选择一台NameNode执行:

1) hdfs namenode -format

2) hadoop-daemon.sh start namenode

③ 另外一台NameNode节点执行:

1) hdfs namenode -bootstrapStandby

(9) hdfs zkfc -formatZK

(10) 关闭所有节点上的进程 stop-dfs.sh

(11) 启动HDFS start-dfs.sh

(12) 操作HDFS文件系统

① 创建目录 hdfs dfs -mkdir -p /user/root

② 上传文件 hdfs dfs -D dfs.blocksize=1048576 -put

到了这里,关于失眠大数据专家,手把手带你玩转大数据,HDFS三种搭建方式的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包