前言
Windows10系统基本环境：spark3.0.0+hadoop3.1.0+scala2.12.0+java jdk1.8。
一、配置java jdk1.8
1. jdk环境变量配置
环境变量配置路径：电脑→属性→高级系统设置→环境变量
path中加入：%JAVA_HOME%/bin。
注：jdk版本不宜过高。
2. 配置验证
cmd验证：
java -version
二、配置scala2.12.0
1.下载scala安装包
官方下载网址：https://www.scala-lang.org/
选择对应版本，这里我选择的是scala2.12.0版本。
下载Windows系统对应的压缩包。
2. 配置scala环境
环境变量配置路径：此电脑→属性→高级系统设置→环境变量
path中加入：%SCALA_HOME%/bin。
3. 验证配置
cmd验证配置：
scala -version
三、配置Hadoop3.1.0
1.Hadoop下载
从Apache官网下载Hadoop：https://hadoop.apache.org/
官网下载速度较慢，也可使用国内镜像下载。
2. Hadoop环境变量配置
配置步骤同Scala配置。
注意：需要把%HADOOP_HOME%\bin与%HADOOP_HOME%\sbin一同加入path中。
3. Windows系统bin下载：
windows系统需要替换hadoop安装包里的bin文件夹。
不同版本bin文件下载链接：https://gitee.com/tlbrun/hadoopWinutils/。
下载成功直接覆盖本地bin。
4. 配置Hadoop启动文档和脚本
配置\etc\hadoop\下的如下5个文件。
（1）在core-site.xml末尾加入如下代码，代码中路径按照自己本地路径相应修改：
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:8900</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>E:/soft/hadoop-3.1.0/tmp/${user.name}</value>
<description>A base for other temporary directories.</description>
</property>
</configuration>
（2）在hdfs-site.xml末尾加入如下代码，代码中路径按照自己本地路径相应修改：
<configuration>
<!-- 这个参数设置为1，因为是单机版hadoop -->
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>/E:/soft/hadoop-3.1.0/data/namenode</value>
</property>
<property>
<name>fs.checkpoint.dir</name>
<value>/E:/soft/hadoop-3.1.0/data/snn</value>
</property>
<property>
<name>fs.checkpoint.edits.dir</name>
<value>/E:/soft/hadoop-3.1.0/data/snn</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/E:/soft/hadoop-3.1.0/data/datanode</value>
</property>
</configuration>
（3）在yarn-site.xml末尾添加如下代码：
<configuration>
<!-- Site specific YARN configuration properties -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
</configuration>
（4）在mapred-site.xml末尾添加如下代码：
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
（5）在hadoop-env.cmd配置以下2个地方：
5. 启动Hadoop
进入hadoop目录：E:\soft\hadoop-3.1.0\bin，打开cmd，执行命令：
.\hdfs namenode -format
进入目录：E:\soft\hadoop-3.1.0\sbin，找到start-all.cmd，右键以管理员身份运行。
运行完毕可以看到以下四个服务：
四 、配置Spark3.0.3
1. Spark下载
Spark3.0.3官网下载：
https://spark.apache.org/releases/spark-release-3-0-0.html
2. Spark环境配置
配置步骤同scala配置。
注意：需要把%SPARK_HOME%\bin与%SPARK_HOME%\sbin一同加入path中。
3. 配置验证
cmd命令：
spark-shell
文章来源：https://www.toymoban.com/news/detail-858212.html
Spark配置成功。文章来源地址https://www.toymoban.com/news/detail-858212.html
到了这里，关于Windows10系统spark3.0.0配置的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！
