Hadoop 安装教程 (Mac m1/m2版)

这篇具有很好参考价值的文章主要介绍了Hadoop 安装教程 (Mac m1/m2版)。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

安装JDK1.8

这里最好是安装1.8版本的jdk

1. 进入官网Java Downloads | Oracle Hong Kong SAR, PRC,下滑到中间区域找到JDK8

Hadoop 安装教程 (Mac m1/m2版),hadoop,macos,大数据

2.选择mac os,下载ARM64 DMG Installer对应版本

注:这里下载需要注册oracle账号,不过很简单,只需要提供邮箱即可,什么邮箱都可以

Hadoop 安装教程 (Mac m1/m2版),hadoop,macos,大数据

Hadoop 安装教程 (Mac m1/m2版),hadoop,macos,大数据

3.下载完成后,双击.pkg文件,安装步骤安装即可。

Hadoop 安装教程 (Mac m1/m2版),hadoop,macos,大数据

4.输入命令:java -version 验证

Hadoop 安装教程 (Mac m1/m2版),hadoop,macos,大数据

配置JAVA_HOME环境

1. 查看JDK所在位置,将路径录制下来后续会用到。

/usr/libexec/java_home -V

Hadoop 安装教程 (Mac m1/m2版),hadoop,macos,大数据

2.直接在终端输入vim ~/.bash_profile打开文件,没有文件则使用【touch .bash_profile】创建文件,在最后添加下方内容,Java_home 中的参数就是JDK所在路径

JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk-11.jdk/Contents/Home
PATH=$JAVA_HOME/bin:$PATH:.
CLASSPATH=$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar:.
export JAVA_HOME
export PATH
export CLASSPATH

3.保存文件后退出

4.输入命令【source ~/.bash_profile】 使配置文件生效。

5.输入 【echo $JAVA_HOME】 显示刚才配置的路径

Hadoop 安装教程 (Mac m1/m2版),hadoop,macos,大数据

设置SSH免密

1. 打开系统偏好设置,在输入框输入sharing

Hadoop 安装教程 (Mac m1/m2版),hadoop,macos,大数据

2.勾选远程登录选项

 ​​​​​​​Hadoop 安装教程 (Mac m1/m2版),hadoop,macos,大数据

3.打开终端,依次输入如下命令

ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 0600 ~/.ssh/id_rsa.pub

4.输入【ssh localhost】验证

Hadoop 安装教程 (Mac m1/m2版),hadoop,macos,大数据

下载Hadoop

1.进入网址Apache Hadoop,选择最新版本Hadoop,选择binary download

Hadoop 安装教程 (Mac m1/m2版),hadoop,macos,大数据

Hadoop 安装教程 (Mac m1/m2版),hadoop,macos,大数据

2.获取.gz文件后双击解压该文件,获取到hadoop-3.3.6文件夹,将此文件放入根目录下(USER/[你的名字])

Hadoop 安装教程 (Mac m1/m2版),hadoop,macos,大数据

3.修改配置文件

(1)vim ~/.zprofile

打开 zprofile,添加以下内容,HADOOP_HOME=/Users/wangxiaoxuan/Documents/download/hadoop-3.3.6/  修改为你自己的路径

# Hadoop
export HADOOP_HOME=/Users/wangxiaoxuan/hadoop-3.3.6/
export HADOOP_INSTALL=$HADOOP_HOME
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib/nativ"

输入【source ~/.zprofile】是内容生效

(2)进入/Users/wangxiaoxuan/hadoop-3.3.6/etc/hadoop 目录

cd /Users/wangxiaoxuan/hadoop-3.3.6/etc/hadoop 

(3)打开hadoop-env.sh 【vim hadoop-env.sh】,添加如下内容,路径为jdk所在路径,上文有提到如何获取

export JAVA_HOME="/Library/Java/JavaVirtualMachines/jdk-1.8.jdk/Contents/Home"

(4)打开core-site.sh文件【vim core-site.xml】,将标签<configuration></configuration>中内容替换如下,路径需换成自己的路径

<configuration>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/Users/wangxiaoxuan/hdfs/tmp/</value>
    </property>
    <property>
        <name>fs.default.name</name>
        <value>hdfs://127.0.0.1:9000</value>
    </property>
</configuration>

(5)打开hdfs-site.xml文件【vim hdfs-site.xml】,将标签<configuration></configuration>中内容替换如下,路径需换成自己的路径

  <property>
      <name>dfs.data.dir</name>
      <value>/Users/wangxiaoxuan/hdfs/namenode</value>
  </property>
  <property>
      <name>dfs.data.dir</name>
      <value>/Users/wangxiaoxuan/hdfs/datanode</value>
  </property>
  <property>
      <name>dfs.replication</name>
      <value>1</value>
  </property>
</configuration>

(6)打开mapred-site.xml文件【vim mapred-site.xml】,将标签<configuration></configuration>中内容替换如下,无需更改路径

<configuration>
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
</configuration>

(7)打开yarn-site.xml文件【vim yarn-site.xml】,将标签<configuration></configuration>中内容替换如下,无需更改路径。

<configuration>
  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>
  <property>
    <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
    <value>org.apache.hadoop.mapred.ShuffleHandler</value>
  </property>
  <property>
    <name>yarn.resourcemanager.hostname</name>
    <value>127.0.0.1</value>
  </property>
  <property>
    <name>yarn.acl.enable</name>
    <value>0</value>
  </property>
  <property>
    <name>yarn.nodemanager.env-whitelist</name>
    <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PERPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
  </property>
</configuration>

8.执行【hdfs namenode -format】 如果报错,需要先执行【stop-all.sh】

正常应显示如下:

Hadoop 安装教程 (Mac m1/m2版),hadoop,macos,大数据

9.执行【start-all.sh】,查看resourcemanager 和nodemanagers是否启动成功

Hadoop 安装教程 (Mac m1/m2版),hadoop,macos,大数据

10.执行【jps】可查看进程

Hadoop 安装教程 (Mac m1/m2版),hadoop,macos,大数据

验证

在浏览器中输入http://localhost:9870/

显示如下:​​​​​​​

Hadoop 安装教程 (Mac m1/m2版),hadoop,macos,大数据

此安装教程参考:

https://www.youtube.com/watch?v=inDC9jgwpWY​​​​​​​​​​​​

https://codewitharjun.medium.com/install-hadoop-on-macos-m1-m2-6f6a01820cc9​​​​​​​

在安装过程中如遇设置免密登陆错误可参考:

networking - How to ssh to localhost without password? - Stack Overflow文章来源地址https://www.toymoban.com/news/detail-720465.html

到了这里,关于Hadoop 安装教程 (Mac m1/m2版)的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • Mac OS M1、M2 芯片虚拟机 VMware Fusion 安装Windows 11 Win 11 arm64虚拟机 双系统 教程

    请参考: https://mp.csdn.net/mp_blog/creation/editor/new/129279303

    2024年02月13日
    浏览(124)
  • M1/M2 MAC 安装git

    cmd输入 git --version ,会跳出来说明还没有安装,根据提示点确认安装就好【但gitk等不支持,一般还是从官网下比较方便】 官网中提供了几种,包括先下载Homebrew,再从Homebrew下载Git,从Xcode下载Git等。之前mac下载过Xcode,但太大了,而且不怎么常用这个IDE,所以新电脑我就不想

    2024年02月15日
    浏览(53)
  • Mac M系列芯片(M1/M2)安装Docker

    通过Homebrew安装 安装完成后,打开Docker会提示CPU架构不匹配,无法正常启动Docker 在Docker官网下载M芯片适用的.dmg安装包  安装完成后即可正常启动 配置国内镜像源 点击菜单栏的Docker图标,打开Settings... Settings...界面如下,切换到Docker Engine,增加镜像源配置(注意JSON格式),

    2024年02月16日
    浏览(52)
  • Mac M1/M2安装Windows 11 虚拟机【超详细】

    作为Mac用户,有时候使用Windows会更加方便,这个时候就要考虑装双系统或者是虚拟机了(也可以直接换😊) 但是网上常用的Parallels Desktop的使用价格比较昂贵,在此不多叙述,感兴趣的可以自行寻找安装教程,本篇博客主要面向使用VMware Fusion 来安装windows虚拟机的用户。 在

    2024年02月19日
    浏览(87)
  • Mac M1/M2 安装nvm管理多版本node

    电脑没有HomeBrew的自行安装并配置环境变量 1. 安装nvm 2. 配置nvm环境变量 这里需要特别注意,Mac M1/M2在用户目录下的环境变量配置文件为 .base_profile 和 .zshrc 其他文件都不要动 2.1 打开 .base_profile文件 sudo vim .base_profile 在打开的终端中按字母 “ i ” 来切换输入,并在最下面添加

    2024年02月15日
    浏览(44)
  • Mac电脑正确的进入恢复模式教程(适用于intel/M1/M2机型)

    Mac电脑进入Recovery 恢复模式实际上超级简单,按照下面的教程操作即可。 intel处理器Mac进入恢复模式 把mac电脑完全关机,然后开机,在电脑开机时候马上按着Command+R 不放,等出现苹果标志3秒之后,松开按键等待进入Recovery 模式(如下图所示); M1/M2处理器Mac进入恢复模式

    2024年02月11日
    浏览(52)
  • mac m1/m2 芯片安装 ps 2023 插件无法显示扩展界面

    碎碎念:一直在踩坑的路上,甚至想休息时间玩一会儿 ps 都能踩坑 新的 m2 芯片 mac 安装了色环插件后,在窗口界面中没有找到扩展,且在首选项-增效工具的旧版扩展也是灰色的 题外话:记录一下 mac 的 photoshop 安装插件的方法,不然下次又忘记咯 Q:如何安装插件? A:找到

    2024年02月11日
    浏览(161)
  • Mac book M1/M2 安装 stable diffusion流程(SD)

    一、 由于后期炼丹的时候需要很多图片资源,因此如果你的硬盘空间和我一样不是很多的话,我建议你也将环境安装在外接移动硬盘上。 我们在创建虚拟环境时可以使用如下命令来指定虚拟环境安装的位置,同时我们还指定了 Python 的版本。 安装miniconda:https://repo.anaconda.co

    2024年02月08日
    浏览(62)
  • Mac M1/M2/M3 芯片环境配置以及常用软件安装-前端

    最近换了台新 Mac ,所有的配置和软件就重新安装下,顺便写个文章。 1. 安装 Homebrew 安装 Homebrew 【 Mac 安装 Homebrew 】 通过国内镜像安装会比较快 安装 Git 后再运行此脚本,在系统弹窗中点击“安装”按钮 点击安装按钮,安装 Git 之后在重新运行此命令,即可安装 Homebrew 可以

    2024年02月04日
    浏览(129)
  • mac m1,m2 安装 提供GPU支持的pytorch和tensorflow

    mac m1 刚出的时候,各种支持都不完善。那时候要使用conda,只能选择miniconda。几年过去了,各种主流软件对mac m1,m2的支持都已经非常完善了。 比如Pytorch,正如官网所写: In collaboration with the Metal engineering team at Apple, we are excited to announce support for GPU-accelerated PyTorch training on

    2024年01月16日
    浏览(58)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包