hdfs常用端口号、常用配置文件,集群时间同步

这篇具有很好参考价值的文章主要介绍了hdfs常用端口号、常用配置文件,集群时间同步。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

目录

常用端口号

hadoop3.x
HDFS NameNode 内部通常端口:8020/9000/9820
HDFS NameNode 对用户的查询端口:9870
历史服务器:19888
hadoop2.x
HDFS NameNode 内部通常端口: 8020/9000/9820
HDFS NameNode 对用户的查询端口:50070
Yarn查看任务运行情况:8088
历史服务器:19888

常用的配置文件

3.x版本

  • core-xite.xml
  • hdfs-site.xml
  • yarn-site.xml
  • mapred-site.xml
  • workers
    2.x版本
  • core-xite.xml
  • hdfs-site.xml
  • yarn-site.xml
  • mapred-site.xml
  • slaves

集群时间同步(不太需要使用)

生产环境:如果服务器能连接外网,则不需要时间同步,
如果不能连接外网则

  1. 查看所有节点ntpd服务状态和开机自启动状态
systemctl status ntpd

hdfs端口号,hdfs,hadoop,大数据
发现无,于是安装一下,非常简单

yum -y install ntp

再次通过命令查询状态

hdfs端口号,hdfs,hadoop,大数据
通过命令启动

systemctl start ntpd

再将其设置为开机自启

systemctl is-enabled ntpd

2.修改hadoop102的ntp.conf配置文件

vim /etc/ntp.conf

hdfs端口号,hdfs,hadoop,大数据
找到这行,将注释去掉并将ip改为自己的ip
hdfs端口号,hdfs,hadoop,大数据
hdfs端口号,hdfs,hadoop,大数据
再把这几行注释

hdfs端口号,hdfs,hadoop,大数据
最后加上这几行内容,剩下的节点要将与外网同步关闭

在其他机器配置1分钟与时间服务器同步一次

crontab -e

编写定时任务如下

*/1 * * * * /usr/sbin/ntpdate hadoop102

查询下当前时间
hadoop103当前时间
hdfs端口号,hdfs,hadoop,大数据
hadoop102当前时间
hdfs端口号,hdfs,hadoop,大数据
修改时间
hdfs端口号,hdfs,hadoop,大数据文章来源地址https://www.toymoban.com/news/detail-830115.html

到了这里,关于hdfs常用端口号、常用配置文件,集群时间同步的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 头歌Hadoop 开发环境搭建及HDFS初体验(第2关:配置开发环境 - Hadoop安装与伪分布式集群搭建)

    注: 1 头歌《Hadoop 开发环境搭建及HDFS初体验》三关在一个实验环境下,需要三关从前往后按顺序评测,跳关或者实验环境结束后重新打开 不能单独评测通过 2 复制粘贴请用右键粘贴,CTRL+C/V不管用哦~ 第1关:配置开发环境 - JavaJDK的配置: 解压: 配置环境变量: 细节: vi

    2024年02月08日
    浏览(213)
  • Hadoop常用端口号

    Hadoop 是一个由多个组件构成的分布式系统,每个组件都会使用一些特定的端口号来进行通信和交互。以下是 Hadoop2.x 常用的 端口号 列表: HDFS 端口号: NameNode:50070 Secondary NameNode:50090 DataNode:50010 DataNode(数据传输):50020 YARN 端口号: ResourceManager:8088 NodeManager:8042 Map

    2024年02月09日
    浏览(33)
  • Hadoop 常用端口号

    Hadoop生态系统中各个组件运行时会使用不同的端口号进行通信,以下是一些常用的服务和它们的默认端口号: Hadoop HDFS (Hadoop Distributed File System) NameNode: Web UI:50070(Hadoop 2.x版本),9870(Hadoop 3.x版本) IPC通信端口:8020(用于内部节点间通信) DataNode: 数据传输端口:50010(

    2024年04月27日
    浏览(27)
  • 【Hadoop】-HDFS集群环境部署[2]

    目录 一、VMware虚拟机中部署 1、安装包下载 2、集群规划 3、上传解压 3.1.上传hadoop安装包到node1节点中 3.2.解压缩安装包到/export/server/中 3.3.构建软连接 4、进入hadoop安装包内 4.1Hadoop安装包目录结构 4.2修改配置文件,应用自定义设置 4.2.1.配置workers文件 4.2.2.配置hadoop-env.sh文件

    2024年04月27日
    浏览(50)
  • Linux修改hadoop配置文件及启动hadoop集群详细步骤

    目录 一、配置Hadoop环境 1.查看Hadoop解压位置 2.配置环境变量 3.编辑环境变量 4.重启环境变量 5.查看Hadoop版本,查看成功就表示Hadoop安装成功了 二、修改配置文件 1.检查三台虚拟机: 2.切换到配置文件目录 3.修改 hadoop-env.sh 文件 4.修改 core-site.xml 文件 5.修改 mapred-site.xml 文件

    2024年02月03日
    浏览(62)
  • Hadoop 3.1.1 HDFS 集群部署

    JDK 1.8.0_133 ZooKeeper 3.5.5:https://blog.csdn.net/weixin_42598916/article/details/135726572?spm=1001.2014.3001.5502 每个节点都需进行如下优化 每个节点都需创建如下路径 每个节点都需配置如下环境变量 以便于后续启停及使用 HDFS 相关脚本和命令 将 /data/service/hadoop 分发至所有节点 HDFS Web UI:10.1

    2024年02月21日
    浏览(45)
  • 0201hdfs集群部署-hadoop-大数据学习

    下面我们配置下单namenode节点hadoop集群,使用vmware虚拟机环境搭建。vmware虚拟机的配置,在下面链接2有,或者自行查阅文档。hadoop安装包可到官网下载,当前相关软件环境如下: 软件 版本 说明 hadoop 3.3.4 jar包 vmware 15.5 虚拟机 centos 7.6 服务器操作系统 xshell 6 远程连接 jdk 1.8

    2024年02月11日
    浏览(47)
  • 部署HDFS集群(完全分布式模式、hadoop用户控制集群、hadoop-3.3.4+安装包)

    目录 前置 一、上传解压 (一 )上传 (二)解压 二、修改配置文件 (一)配置workers文件 (二)配置hadoop-env.sh文件 (三)配置core-site.xml文件 (四)配置hdfs-site.xml文件 三、分发到hp2、hp3, 并设置环境变量 (一)准备数据目录    (二)配置环境变量 四、创建数据目录,并

    2024年04月14日
    浏览(58)
  • 【Hadoop-HDFS】HDFS常用操作命令

    hadoop fs -ls / 普通创建: hadoop fs -mkdir /xiaolin 递归创建: hadoop fs -mkdir -p /xiaolin/xiaoyin mkdir xuan.txt hadoop fs -moveFromLocal xuan.txt /xiaolin hadoop fs -copyFromLocal xuan.txt / hadoop fs -put xuan.txt / 文件名称相同时覆盖hdfs上的文件: -f hadoop fs -put -f xuan.txt / hadoop fs -copyToLocal /xiaolin ./ hadoop fs -get

    2024年02月05日
    浏览(52)
  • Hadoop-5-HDFS常用命令

    第一类:文件路径增删改查系列: hdfs dfs -mkdir dir 创建文件夹 hdfs dfs -rmr dir 删除文件夹dir hdfs dfs -ls 查看目录文件信息 hdfs dfs -lsr 递归查看文件目录信息 hdfs dfs -stat path 返回指定路径的信息 第二类:空间大小查看系列命令: hdfs dfs -du -h dir 按照适合阅读的形式人性化显示文件

    2024年02月09日
    浏览(43)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包