4 hadoop集群配置案例

这篇具有很好参考价值的文章主要介绍了4 hadoop集群配置案例。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

4 hadoop集群配置案例,Hadoop,hadoop,eclipse,大数据
4 hadoop集群配置案例,Hadoop,hadoop,eclipse,大数据

3)配置集群

(1)核心配置文件,core-site.xml

cd $HADOOP_HOME/etc/hadoop
vim core-site.xml

文件内容如下:

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
    <!-- 指定NameNode的地址 -->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://hadoop102:8020</value>
    </property>

    <!-- 指定hadoop数据的存储目录 -->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/module/hadoop-3.1.3/data</value>
    </property>

    <!-- 配置HDFS网页登录使用的静态用户为atguigu -->
    <property>
        <name>hadoop.http.staticuser.user</name>
        <value>atguigu</value>
    </property>
</configuration>

(2)HDFS配置文件,hdfs-site.xml

vim hdfs-site.xml

文件内容如下:

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
	<!-- nn web端访问地址-->
	<property>
        <name>dfs.namenode.http-address</name>
        <value>hadoop102:9870</value>
    </property>
	<!-- 2nn web端访问地址-->
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>hadoop104:9868</value>
    </property>
</configuration>

(3)YARN配置文件,yarn-site.xml

vim yarn-site.xml

文件内容如下:

<configuration>
    <!-- 指定MR走shuffle -->
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>

    <!-- 指定ResourceManager的地址-->
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>hadoop103</value>
    </property>

    <!-- 环境变量的继承 -->
    <property>
        <name>yarn.nodemanager.env-whitelist</name>
        <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
    </property>
</configuration>

(4)MapReduce配置文件,mapred-site.xml

vim mapred-site.xml

文件内容如下:文章来源地址https://www.toymoban.com/news/detail-676163.html

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
	<!-- 指定MapReduce程序运行在Yarn上 -->
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

2. 在集群上分发配置好的Hadoop配置文件

xsync /opt/module/hadoop-3.1.3/etc/hadoop/

3. 去103和104上查看文件分发情况

cat /opt/module/hadoop-3.1.3/etc/hadoop/core-site.xml

到了这里,关于4 hadoop集群配置案例的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • Hadoop(02) Hadoop-3.3.6 集群的配置教程

    当使用Hadoop的分布式模式进行部署和运行时,通常使用分布式文件系统HDFS进行存储。在这种情况下,HDFS的名称节点(NameNode)和数据节点(DataNode)位于不同的机器上。这样,数据可以分布在多个节点上,不同数据节点上的数据计算可以并行执行,这样才能更好的实现MapRed

    2024年02月08日
    浏览(33)
  • Linux修改hadoop配置文件及启动hadoop集群详细步骤

    目录 一、配置Hadoop环境 1.查看Hadoop解压位置 2.配置环境变量 3.编辑环境变量 4.重启环境变量 5.查看Hadoop版本,查看成功就表示Hadoop安装成功了 二、修改配置文件 1.检查三台虚拟机: 2.切换到配置文件目录 3.修改 hadoop-env.sh 文件 4.修改 core-site.xml 文件 5.修改 mapred-site.xml 文件

    2024年02月03日
    浏览(60)
  • 集群配置,hadoop配置过程,细节满满

    做一个hadoop的配置流程的全记录,把遇到的问题和细节全都记录了下来。 目录 1.安装前准备 jdk,hadoop安装包: 2.开始安装jdk,hadoop 导入安装包 修改jdk,hadoop文件用户所属 配置jdk,hadoop 环境变量,添加对应环境变量 测试安装是否成功  3.hadoop 集群配置文件 core-site.xml hdfs-

    2024年02月05日
    浏览(35)
  • hadoop高可用集群配置

    Apache Hadoop 3.3.4 – HDFS High Availability Using the Quorum Journal Manager 1.1、环境准备 修改IP 修改主机名及主机名和IP地址的映射 关闭防火墙 ssh免密登录 安装JDK,配置环境变量等 1.2、集群规划 linux121 linux122 linux123 NameNode NameNode JournalNode JournalNode JournalNode DataNode DataNode DataNode ZK ZK ZK Re

    2023年04月23日
    浏览(35)
  • Hadoop集群环境配置搭建

    Hadoop最早诞生于Cutting于1998年左右开发的一个全文文本搜索引擎 Lucene,这个搜索引擎在2001年成为Apache基金会的一个子项目,也是 ElasticSearch等重要搜索引擎的底层基础。 项目官方:https://hadoop.apache.org/ 首先准备三台Linux服务器,预装CentOS7。三台服务器之间需要网络互通。本地

    2024年02月03日
    浏览(35)
  • Hadoop集群配置及运行

    本文章基于尚硅谷Hadoop 3.x视频进行总结,仅作为学习交流使用        视频链接如下:30_尚硅谷_Hadoop_入门_集群配置_哔哩哔哩_bilibili 1.切换到/opt/module/hadoop-3.3.4/etc/hadoop,配置core-site.xml、hdfs-site.xml、yarn-site.xml、mapred-site.xml,分发hadoop文件夹 1.第一次启动时需要配置workers配

    2023年04月21日
    浏览(32)
  • Hadoop集群的配置

    一.、创建虚拟机 (10条消息) CentOS 7 虚拟机的搭建_仄言2997的博客-CSDN博客     1. 创建虚拟机     2. 安装 CentOS  二、虚拟机网络设置 (10条消息) 虚拟机网络配置_仄言2997的博客-CSDN博客 三、 安装JDK (10条消息) 虚拟机安装jdk,运行java文件_仄言2997的博客-CSDN博客 四、 安装 Had

    2023年04月10日
    浏览(28)
  • Hadoop系统应用之安装---Hadoop集群安装配置和详细搭建过程

    实训课题 Hadoop集群安装 配置 和 详细 搭建 过程 实验步骤 : 一、虚拟机的安装部署 二、Linux系统安装部署 1.环境准备 2.系统安装 三、Centos系统安装 四、静态网络配置 五、虚拟机完整克隆配置 六、配置hosts文件和ssh免密登录 七、Hadoop集群配置 八、Hadoop集群测试 虚拟机的安装

    2024年02月06日
    浏览(42)
  • linux上面hadoop配置集群

    要在Linux上配置Hadoop集群,需要按照以下步骤进行操作: 安装Java Development Kit (JDK):首先,确保您的Linux系统上已经安装了JDK。可以通过运行以下命令来检查是否已经安装了JDK: 如果返回了Java的版本信息,则表示已经安装了JDK。如果没有安装,请根据您使用的Linux发行版,安

    2024年01月18日
    浏览(39)
  • hadoop集群配置与启动(三)

    1 集群部署规划 NameNode 和 SecondaryNameNode 不要安装在同一台服务器 。 (它们两个都需要耗内存,分开减少集群的压力) ResourceManager 也很消耗内存,不要和 NameNode、SecondaryNameNode 配置在同一台机器上 2配置文件说明 Hadoop 配置文件分两类:默认配置文件和自定义配置文件,只有

    2024年02月03日
    浏览(39)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包