一、JDK的安装
Spark是一个用于大数据处理的开源框架，它是用Scala编写的，而Scala是一种运行在Java虚拟机（JVM）上的编程语言，因此它依赖于Java的运行环境。所以首先需要安装JDK（JavaTM Platform Standard Edition Development Kit），并将环境变量配置好。
可参考我的另一篇博客：
二、Spark的安装
1.下载Spark
从Spark官网进行下载：Apache Spark™ - Unified Engine for large-scale data analytics，点击Download
这里我下载2.2.0版本，滑到下面，选择Archived releases，点击Spark release archives
找到2.2.0版本
选择带有Hadoop版本的Spark： spark-2.2.0-bin-hadoop2.7.tgz
意思是Spark版本是2.2.0，还需安装hadoop2.7版本
单击即可下载
下载完成后将文件进行解压，得到大约200M的文件： spark-2.2.0-bin-hadoop2.7
最好解压到一个盘的根目录下，并重命名为Spark，简单不易出错。并且需要注意的是，在Spark的文件目录路径名中，不要出现空格和中文，类似于“Program Files”这样的文件夹名是不被允许的，我放的位置是D:\Spark
2.配置环境变量
系统变量创建SPARK_HOME：D:\Spark\spark-2.2.0-bin-hadoop2.7
系统变量中的Path添加：%SPARK_HOME%\bin
3.测试是否安装成功
Win+R键打开运行窗口，输入cmd，命令行串口输入spark-shell
出现下图即安装成功
这时开启的是Spark的交互式命令行模式，但直接使用很有可能会碰到各种错误，如下图，这里主要是因为Spark是基于hadoop的，所以这里还需配置一个Hadoop的运行环境。
三、Hadoop的安装
1.下载Hadoop
下载上面spark对应版本的hadoop 2.7:Hadoop Releases
我这里选择2.7.1版本
选择好相应版本并点击后，进入详细的下载页面，如下图所示
上面的src版本就是源码，需要对Hadoop进行更改或者想自己进行编译的可以下载对应src文件，我这里下载的就是已经编译好的版本，即图中的“hadoop-2.7.1.tar.gz”文件
下载并解压到指定目录，我这里是D:\Hadoop
2.配置环境变量
系统变量创建HADOOP_HOME：D:\Hadoop\hadoop-2.7.1
系统变量中的Path添加：%HADOOP_HOME%\bin
3.安装winutils.exe
winutils.exe是在window系统上安装hadoop时必要的文件，可在github上下载
github下载地址：https://github.com/steveloughran/winutils
选择对应安装的Hadoop版本号
进入到bin目录下
找到winutils.exe文件，单击下载
将下载好的winutils.exe文件放入到Hadoop的bin目录下，我是D:\Hadoop\hadoop-2.7.1\bin
4.测试是否安装成功
Win+R键打开运行窗口，输入cmd，命令行串口输入hadoop
四、常见问题
正常情况下是可以运行成功并进入到Spark的命令行环境下的，但是可能会遇到如下错误：
<console>:14: error: not found: value spark
import spark.implicits._
^
<console>:14: error: not found: value spark
import spark.sql
^解决办法是：
用以下命令创建 C：\tmp\hive diroctory 并授予访问权限（777是获取所有权限）
C:\Hadoop\winutils-master\hadoop-2.7.1\bin>winutils.exe chmod -R 777 C:\tmp\hive删除C盘的本地元存储metastore_db目录（如果存在的话）
C:\Users\<User_Name>\metastore_db然后再次开启一个新的cmd窗口，如果正常的话，应该就可以通过直接输入spark-shell来运行Spark了。正常的运行界面应该如下图所示：
五、Python下Spark开发环境搭建
1、将Spark目录下的pyspark文件夹（D:\Spark\spark-2.2.0-bin-hadoop2.7\python\pyspark）复制到要使用的python环境的安装目录（E:\APP\python3.7.0\Lib\site-packages）里。如图所示：
2.cmd进入目录（python环境下的Scripts）E:\APP\python3.7.0\Scripts，运行pip install py4j安装py4j库。如图所示：
3.在系统变量中新建一个PYTHONPATH的系统变量，然后设置好下面变量值
D:\Spark\spark-2.2.0-bin-hadoop2.7\python（根据自己目录更改）
D:\Spark\spark-2.2.0-bin-hadoop2.7\python\lib\py4j-0.10.4-src.zip（根据自己目录更改）
后面就可以在VScode或者PyCharm等IDE中使用PySpark了！文章来源：https://www.toymoban.com/news/detail-788454.html
参考文献：
Why does spark-shell fail with “error: not found: value spark”? - Stack Overflow
文章来源地址https://www.toymoban.com/news/detail-788454.html
到了这里，关于Spark在Windows下的环境搭建及pyspark的使用的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！
