任务6:启动Hadoop集群并测试

这篇具有很好参考价值的文章主要介绍了任务6:启动Hadoop集群并测试。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

任务描述

知识点

  • 掌握Hadoop集群的启动

重  点

  • Hadoop集群的格式化流程
  • Hadoop集群的启动流程

内  容

  • 格式化Hadoop集群
  • 启动测试Hadoop集群

任务指导

启动Hadoop集群并测试,过程如下:

  • 初始化HDFS;
  • 在master服务器启动Hadoop集群;
  • 使用jps命令查看相应的守护进程是否正常启动;
  • 打开浏览器,测试8088端口和50070端口对应的管理页面是否正常;
  • 停止Hadoop集群。

最后可以通过jps命令查看到相应的守护进程如下:

主机名 守护进程
master NameNode、SecondaryNameNode、ResourceManager
slave1 DataNode、NodeManager
slave2 DataNode、NodeManager

任务实现

1. 在master服务器启动Hadoop集群

  • 在master服务器节点上,进入Hadoop安装目录 /home/hadoop/hadoop-2.9.2
[ root@master ~] cd /home/hadoop/hadoop-2.9.2
  • 输入【# bin/hdfs namenode -format】命令进行初始化hdfs
[ root@master hadoop-2.9.2 ]# bin/hdfs namenode -format 
  • 输入【# sbin/start-all.sh】命令启动全部守护进程,也可以分开启动各个进程【# sbin/start-dfs.sh】、【# sbin/start-yarn.sh】
[ root@master hadoop-2.9.2 ]# sbin/start-all.sh
  • 如果要停止Hadoop集群,可以输入【# sbin/stop-all.sh】命令,停止Hadoop集群
[ root@master hadoop-2.9.2 ]# sbin/stop-all.sh

2. 查看Hadoop5个守护进程

  • 在master机器输入【jps】命令,可以查看到3个守护进程,分别为NameNode、SecondaryNameNode、ResourceManager。

任务6:启动Hadoop集群并测试,基于时间序列模型的NCDC气象数据分析----自用,hadoop,大数据,分布式

  • 在slave机器输入【jps】命令,可以查看到2个守护进程,分别为NodeManager、DataNode。

任务6:启动Hadoop集群并测试,基于时间序列模型的NCDC气象数据分析----自用,hadoop,大数据,分布式

3. 使用浏览器Web访问,测试8088端口和50070端口(要先要确保开放了端口或者直接关闭防火墙)

  • 在master中打开浏览器访问:http://localhost:8088/

任务6:启动Hadoop集群并测试,基于时间序列模型的NCDC气象数据分析----自用,hadoop,大数据,分布式

  • 在master中打开浏览器访问:http://localhost:50070/

任务6:启动Hadoop集群并测试,基于时间序列模型的NCDC气象数据分析----自用,hadoop,大数据,分布式文章来源地址https://www.toymoban.com/news/detail-805191.html

  • 安装完成。这只是大数据应用的开始,之后的工作就是,结合自己的情况,编写程序调用Hadoop的接口,发挥HDFS、MapReduce的作用。

到了这里,关于任务6:启动Hadoop集群并测试的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 134基于matlab的时间序列预测

    基于matlab的时间序列预测,包括最小二乘支持向量机和粒子群优化支持向量机及改进的粒子群优化支持向量机。输出测试结果,具有GUI可视化界面。程序已调通,可直接运行。  134matlab时间序列预测粒子群优化 (xiaohongshu.com)

    2024年01月16日
    浏览(28)
  • 基于Python的时间序列异常值检测

      今天我们介绍一下使用python做时间序列数据分析和预测中异常值检测的方法,常用的异常值检测方法有以下几种: 3sigma: 基于正太分布,当数据值超过±3个标准差(3sigma)时为异常值。 z-score : z标准分数,它测量数据值到平均值的距离,当数据与平均值相差2个标准差时z-score为

    2023年04月24日
    浏览(30)
  • 学习笔记:基于Transformer的时间序列预测模型

    为了便于读者理解,笔者将采取一个盾构机掘进参数预测的实际项目进行Transformer模型的说明。此外,该贴更多用于本人的学习记录,适合于对Transformer模型已经有一定了解的读者。此此次外,不定期更新中。 一些参考与图片来源: Transformer论文链接 transformer的细节到底是怎

    2024年02月03日
    浏览(52)
  • hadoop集群启动后datanode没有启动

    今天启动hadoop集群后,查看进程发现名称节点的NameNode进程启动了,但是数据节点的DataNode进程没有启动,如下: 这个问题是个常见问题,对于自学的初学者来说,真的是个很头大的问题,一时不知道该怎么弄,我就是其中一个。但遇到问题不要慌,认真看错并查找解决办法

    2023年04月27日
    浏览(30)
  • 基于机器学习/深度学习的时间序列分析相关论文

    Robust Time Series Analysis and Applications: An Industrial Perspective, in  KDD  2022. Time Series in Healthcare: Challenges and Solutions, in  AAAI  2022. [[Link]](https://www.vanderschaar-lab.com/time-series-in-healthcare/) Time Series Anomaly Detection: Tools, Techniques and Tricks, in  DASFAA  2022. [[Link]](https://www.dasfaa2022.org//tutorials/T

    2024年02月13日
    浏览(38)
  • 基于CNN-Transformer时间序列预测模型

      基于CNN-Transformer时间序列预测模型   特色:1、单变量,多变量输入,自由切换             2、单步预测,多步预测,自动切换            3、基于Pytorch架构            4、多个评估指标(MAE,MSE,R2,MAPE等)            5、数据从excel文件中读取,更换简单

    2024年02月11日
    浏览(30)
  • Hadoop集群的启动

    在首次启动Hadoop之前还需要进行一些配置工作 我们是在Linux集群上安装Hadoop集群 注意,一说Linux操作系统的环境变量 配置文件就在/home/wangguowei下的.bash.profile中 将hadoop的家目录写好 并引入到path路径中即可 在普通用户的家目录下创建hadoopdata目录,这个目录要与核心组件中的

    2024年02月06日
    浏览(28)
  • 时间序列预测 | Matlab基于粒子群算法优化门控循环单元(PSO-GRU)的时间序列预测,PSO-GRU时间序列预测,单列数据集

    效果一览 文章概述 时间序列预测 | Matlab基于粒子群算法优化门控循环单元(PSO-GRU)的时间序列预测,PSO-GRU时间序列预测,单列数据集。

    2024年02月12日
    浏览(36)
  • 基于 PyTorch + LSTM 进行时间序列预测(附完整源码)

    时间序列数据,顾名思义是一种随时间变化的数据类型。 例如,24小时内的温度、一个月内各种产品的价格、某家公司一年内的股票价格等。深度学习模型如长短期记忆网络(LSTM)能够捕捉时间序列数据中的模式,因此可以用于预测未来趋势。 在本文中,您将看到如何使用

    2023年04月25日
    浏览(33)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包