hdfs常用端口号、常用配置文件，集群时间同步

相关文章

• 

  头歌Hadoop 开发环境搭建及HDFS初体验（第2关：配置开发环境 - Hadoop安装与伪分布式集群搭建）

  注： 1 头歌《Hadoop 开发环境搭建及HDFS初体验》三关在一个实验环境下，需要三关从前往后按顺序评测，跳关或者实验环境结束后重新打开 不能单独评测通过 2 复制粘贴请用右键粘贴，CTRL+C/V不管用哦~ 第1关：配置开发环境 - JavaJDK的配置： 解压： 配置环境变量： 细节： vi

  2024年02月08日

  浏览(120)

• Hadoop 常用端口号

  Hadoop生态系统中各个组件运行时会使用不同的端口号进行通信，以下是一些常用的服务和它们的默认端口号： Hadoop HDFS (Hadoop Distributed File System) NameNode: Web UI：50070（Hadoop 2.x版本），9870（Hadoop 3.x版本） IPC通信端口：8020（用于内部节点间通信） DataNode： 数据传输端口：50010（

  2024年04月27日

  浏览(21)

• Hadoop常用端口号

  Hadoop 是一个由多个组件构成的分布式系统，每个组件都会使用一些特定的端口号来进行通信和交互。以下是 Hadoop2.x 常用的 端口号 列表： HDFS 端口号： NameNode：50070 Secondary NameNode：50090 DataNode：50010 DataNode（数据传输）：50020 YARN 端口号： ResourceManager：8088 NodeManager：8042 Map

  2024年02月09日

  浏览(26)
• 

  【Hadoop】-HDFS集群环境部署[2]

  目录 一、VMware虚拟机中部署 1、安装包下载 2、集群规划 3、上传解压 3.1.上传hadoop安装包到node1节点中 3.2.解压缩安装包到/export/server/中 3.3.构建软连接 4、进入hadoop安装包内 4.1Hadoop安装包目录结构 4.2修改配置文件，应用自定义设置 4.2.1.配置workers文件 4.2.2.配置hadoop-env.sh文件

  2024年04月27日

  浏览(26)
• 

  Linux修改hadoop配置文件及启动hadoop集群详细步骤

  目录 一、配置Hadoop环境 1.查看Hadoop解压位置 2.配置环境变量 3.编辑环境变量 4.重启环境变量 5.查看Hadoop版本，查看成功就表示Hadoop安装成功了 二、修改配置文件 1.检查三台虚拟机： 2.切换到配置文件目录 3.修改 hadoop-env.sh 文件 4.修改 core-site.xml 文件 5.修改 mapred-site.xml 文件

  2024年02月03日

  浏览(41)

• Hadoop 3.1.1 HDFS 集群部署

  JDK 1.8.0_133 ZooKeeper 3.5.5：https://blog.csdn.net/weixin_42598916/article/details/135726572?spm=1001.2014.3001.5502 每个节点都需进行如下优化 每个节点都需创建如下路径 每个节点都需配置如下环境变量 以便于后续启停及使用 HDFS 相关脚本和命令 将 /data/service/hadoop 分发至所有节点 HDFS Web UI：10.1

  2024年02月21日

  浏览(33)
• 

  0201hdfs集群部署-hadoop-大数据学习

  下面我们配置下单namenode节点hadoop集群，使用vmware虚拟机环境搭建。vmware虚拟机的配置，在下面链接2有，或者自行查阅文档。hadoop安装包可到官网下载，当前相关软件环境如下： 软件 版本 说明 hadoop 3.3.4 jar包 vmware 15.5 虚拟机 centos 7.6 服务器操作系统 xshell 6 远程连接 jdk 1.8

  2024年02月11日

  浏览(34)
• 

  部署HDFS集群（完全分布式模式、hadoop用户控制集群、hadoop-3.3.4+安装包）

  目录 前置 一、上传解压 （一 ）上传 （二）解压 二、修改配置文件 （一）配置workers文件 （二）配置hadoop-env.sh文件 （三）配置core-site.xml文件 （四）配置hdfs-site.xml文件 三、分发到hp2、hp3, 并设置环境变量 （一）准备数据目录    （二）配置环境变量 四、创建数据目录，并

  2024年04月14日

  浏览(47)

• 【Hadoop-HDFS】HDFS常用操作命令

  hadoop fs -ls / 普通创建： hadoop fs -mkdir /xiaolin 递归创建： hadoop fs -mkdir -p /xiaolin/xiaoyin mkdir xuan.txt hadoop fs -moveFromLocal xuan.txt /xiaolin hadoop fs -copyFromLocal xuan.txt / hadoop fs -put xuan.txt / 文件名称相同时覆盖hdfs上的文件： -f hadoop fs -put -f xuan.txt / hadoop fs -copyToLocal /xiaolin ./ hadoop fs -get

  2024年02月05日

  浏览(37)

• Hadoop-5-HDFS常用命令

  第一类：文件路径增删改查系列： hdfs dfs -mkdir dir 创建文件夹 hdfs dfs -rmr dir 删除文件夹dir hdfs dfs -ls 查看目录文件信息 hdfs dfs -lsr 递归查看文件目录信息 hdfs dfs -stat path 返回指定路径的信息 第二类：空间大小查看系列命令： hdfs dfs -du -h dir 按照适合阅读的形式人性化显示文件

  2024年02月09日

  浏览(35)