pycharm连接spark-Toy模板网

这篇具有很好参考价值的文章主要介绍了pycharm连接spark。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

1.解压Hadoop，解压到任意盘，路径不要带中文路径

pycharm连接spark

进入保存后的bin目录，查看，是否解压成功

2.解压spark，到任意位置，路径不要带有中文

pycharm连接spark

3. 打开pycharm，把Hadoop，spark环境变量配置到pycharm中。

3.1新建项目

pycharm连接spark

3.2在项目中创建一个python文件

pycharm连接spark

3.3把Hadoop_home，python_home,pythonpath添加到Pycharm中.

pycharm连接spark

1.HADOOP_HOME

2.SPARK_HOME

3.PYTHONPATH

4.注意！！！

PYTHONPATH路径要添加到D:\spark\spark-2.4.6-bin-hadoop2.7\python\lib\py4j-0.10.7-src.zip下

pycharm连接spark

3.4 检查是否有以下软件包

pycharm连接spark

3.4.1 如果没有请按照以下教程下载，后期需要

pycharm连接spark

3.4.2安装py4j

3.4.3安装pyspark推荐2.4.6版本

pycharm连接spark

3.4.4安装pip

pycharm连接spark

3.5安装findspark

pycharm连接spark

4.把winutils.exe插件放到Hadoop解压后的/bin目录下面

pycharm连接spark

5.把以下代码，复制到4.2步骤中，新建的python文件中

#添加此代码
import findspark
findspark.init()
#在spark前，添加此代码
from pyspark.sql import SparkSession
spark = SparkSession.builder.appName("WordCount").getOrCreate()
spark.sparkContext.textFile("file:///D:/Hadoop/hadoop-2.7.7/README.txt")\
        .flatMap(lambda x: x.split(' '))\
        .map(lambda x: (x, 1))\
        .reduceByKey(lambda x, y: x + y)\
        .foreach(print)