Hadoop2复安装过程详细步骤

这篇具有很好参考价值的文章主要介绍了Hadoop2复安装过程详细步骤。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

1、在vmware中更改了虚拟机的网络类型,--->NAT方式,(虚拟交换机的ip可以从vmvare的edit-->vertual network editor看到)
2、根据这个交换机(网关)的地址,来设置我们的客户端windows7的ip(Vmnet8这块网卡)
3、启动linux主机,修改linux系统的ip地址(通过图形界面修改),修改完成之后在terminal(命令行终端)中切换到root用户执行命令重启网络服务来让ip生效
4、修改主机名: 在root身份下,用命令修改  vi /etc/sysconfig/network   把hostname改为  yun-10-1
5、添加主机名和ip的映射  在root身份下 vi /etc/hosts  添加一行 192.168.2.100    yun-10-1
6、讲hadoop这个用户添加到sudoers里面去  在root身份下 vi /etc/sudoers  ,在文件中找到 root  ALL=ALL ALL ,下面加一行hadoop的
7、停止防火墙服务   在root身份下 service iptables stop
8、关闭防火墙的自动启动   在root身份下   chkconfig iptables off
9、reboot
10、用ping命令检测一下windows主机和linux服务器之间的网络连通性
11、进入linux修改图形界面启动配置,不要再启动图形界面了,在root身份下,  vi /etc/inittab  将其改为id:3:initdefault:
12、再次reboot,将不会启动到图形界面了 
(当以后你想启动图形界面的时候可以在命令行下敲startx (init 5) ,在图形界面下你想关闭图形界面,敲命令init 3)

===========华丽的分割线=============================

1/用终端连接linux服务器进行软件的安装(用secureCRT来连接)
2/安装jdk
    --用filezilla工具上传jdk的压缩包
    --解压jdk的压缩包到一个专门的安装目录下  /home/hadoop/app
    --在hadoop的主目录下敲命令  

tar -zxvf jdk-7u65-linux-i586.tar.gz -C ./app

    --配置java的环境变量 sudo vi /etc/profile
              在文件的最后添加:

            export JAVA_HOME=/home/hadoop/app/jdk1.7.0_65
            export PATH=$PATH:$JAVA_HOME/bin

3/让配置生效,  source /etc/profile

===========帅酷的分割线=============================

1/用filezilla工具上传hadoop的安装包
2/把hadoop解压到app目录中去  

tar -zxvf hadoop-2.4.1.tar.gz -C ./app/


3/修改hadoop的5大配置文件,位置在 /home/hadoop/app/hadoop-2.4.1/etc/hadoop目录下
--  vi   hadoop-env.sh  改其中的JAVA_HOME为我们安装jdk的路径

JAVA_HOME=/home/hadoop/app/jdk1.7.0_65

--  vi   core-site.xml   
 

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://yun-10-1:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/home/hadoop/app/hadoop-2.4.1/tmp</value>
    </property>
</configuration>

-- vi hdfs-site.xml

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>


-- 先修改文件名   mv mapred-site.xml.template mapred-site.xml
   在编辑  vi mapred-site.xml

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>


-- vi yarn-site.xml

<configuration>
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>yun-10-1</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
</configuration>


4/配置一下hadoop的环境变量
sudo vi /etc/profile

=============优美的分割线====================

1/无密登陆的配置
首先在客户端生成密钥对   ssh-keygen  -t rsa  紧接着一直回车
然后在客户端拷贝公钥到远程   ssh-copy-id desthost

=========完美的分割线========hadoop安装完成========

学习资料下载:

Hadoop-HDFS-Shell-学习资料及文档、Java代码文章来源地址https://www.toymoban.com/news/detail-728489.html

到了这里,关于Hadoop2复安装过程详细步骤的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • java大数据hadoop2.92 Java连接操作

    1、要想Java可以连接自己虚拟机的hadoop文件系统,需要给文件系统权限 (1)需要在/usr/local/hadoop/etc/hadoop/core-site.xml core-site.xml文件配置具体ip (2)文件权限 hdfs dfs -chmod -R 777 / 2、maven依赖 3、具体操作 (1)创建文件夹 (2)创建文件

    2024年01月20日
    浏览(31)
  • WireShark 安装指南:详细安装步骤和使用技巧

    Wireshark是一个开源的网络协议分析工具,它能够捕获和分析网络数据包,并以用户友好的方式呈现这些数据包的内容。Wireshark 被广泛应用于网络故障排查、安全审计、教育及软件开发等领域。接下将讲解Wireshark的安装与简单使用。 目录 Wireshark安装步骤 Npcap安装步骤 USBPcap安

    2024年02月21日
    浏览(69)
  • Hadoop之Hive的安装配置(详细步骤)

    配置前准备 下载apache-hive-2.1.1-bin.tar.gz安装包并上传到XShell 在XShell上解压安装包 输入解压命令: 配置  1、配置环境变量 在文件末尾增加如下内容: 使环境变量生效 进入 cd /home/ZQ/apache-hive-2.1.1-bin/conf/ 2、配置hive-env.sh  如果有hive-env.sh.template文件则输入下面的命令将 hive-

    2024年02月04日
    浏览(39)
  • Hadoop系统应用之安装---Hadoop集群安装配置和详细搭建过程

    实训课题 Hadoop集群安装 配置 和 详细 搭建 过程 实验步骤 : 一、虚拟机的安装部署 二、Linux系统安装部署 1.环境准备 2.系统安装 三、Centos系统安装 四、静态网络配置 五、虚拟机完整克隆配置 六、配置hosts文件和ssh免密登录 七、Hadoop集群配置 八、Hadoop集群测试 虚拟机的安装

    2024年02月06日
    浏览(45)
  • VMware首次安装Hadoop详细步骤:问题&解决方式

    创建 Hadoop 用户 目录 2.1 创建Hadoop 用户(简单) 2.2 安装 Hadoop 前的准备工作(如果网络没问题就很简单) 2.2.1 更新 APT 2.2.2 安装vim编辑器 2.2.3安装 SSH 2.3 安装 Java 环境 2.4 安装Hadoop 2.4.1 安装单机Hadoop 2.4.2Hadoop伪分布式安装 2.4.2.1修改配置文件 2.4.2.2初始化文件系统 2.4.2.3启动

    2024年02月07日
    浏览(49)
  • Hadoop大数据平台搭建(超详细步骤)

    相关软件下载链接: Xshell:家庭/学校免费 - NetSarang Website Xftp:家庭/学校免费 - NetSarang Website Xshell与Xftp官网:XSHELL - NetSarang Website Jdk:百度网盘 请输入提取码  提取码:jdhp Hadoop:百度网盘 请输入提取码   提取码:jdhp 需要配置好的虚拟机与相关环境的,可以点击我的这篇

    2023年04月12日
    浏览(78)
  • Hadoop集群安装和搭建(从零开始超级超级详细的过程)(上)

    本文直接从最最最开始安装Hadoop开始讲解,省略了虚拟机安装的这部分,这里我就默认学过Liunx的各位小伙伴们已经有相关环境了。 下半部分在这里~ Hadoop集群安装和搭建(从零开始超级超级详细的过程)(下) 组件 功能 HDFS 分布式文件系统 MapReduce 分布式并行编程模型 YA

    2024年02月06日
    浏览(58)
  • Hadoop高可用(Hadoop2.x)

    目录 Hadoop高可用(Hadoop2.x) 1.什么是高可用 2.Hadoop集群存在的问题 3.单点故障 3.1HDFS的单点故障 3.2NameNode的内存受限的问题 3.3Yarn的单点故障 4.Hadoop的高可用 5. Hadoop HA架构搭建 5.1基本环境配置 5.2安装Zookeeper 5.3安装Hadoop 5.4测试 6.NameNode的联邦机制 联邦的好处 高可用性HA(Hi

    2024年02月01日
    浏览(38)
  • Hadoop2.0探讨

    8. Hadoop 再探讨 8.1 Hadoop的优化与发展 Hadoop1.0的局限和不足 抽象层次低,需人工编码:编写一个非常简单的代码都需要人工编写MapReduce代码,进行编译打包运行 表达能力有限:现实中的一些问题不是使用Map和Reduce就能完成的 开发者需要自己管理作业(Job)之间的依赖关系:多

    2024年02月07日
    浏览(36)
  • hadoop2.4.1伪分布式搭建

    1.准备Linux环境     1.0点击VMware快捷方式,右键打开文件所在位置 - 双击vmnetcfg.exe - VMnet1 host-only -修改subnet ip 设置网段:192.168.1.0 子网掩码:255.255.255.0 - apply - ok         回到windows -- 打开网络和共享中心 - 更改适配器设置 - 右键VMnet1 - 属性 - 双击IPv4 - 设置windows的IP:192

    2024年02月07日
    浏览(53)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包