Pycharm通过SSH配置centos上Spark环境-Toy模板网

这篇具有很好参考价值的文章主要介绍了Pycharm通过SSH配置centos上Spark环境。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

直接在shell进行pyspark进行编程，程序没有办法写得太长，而且我们希望能够实现一个及时给出结果的编程环境，可以使用pycharm连接centos上的spark，进行本地编程，同步到centos系统中运行程序，并把结果返回pycharm上。以下是pycharm的环境配置，这里采用的是2020版本的，2023版本变动较大，暂时没有找到配置方法：

新建项目→选择pure python→选择existing interpreter→选择更多…按钮
选择SSH→New server configuration→Host填写ip地址，这里以：192.168.19.137，Port不变→Username填写自己的系统用户名：root为例→点击New按钮
填写Password→点击Nex
点击后面的文件夹图标→配置centos上的python路径，选择centos上的python路径，这里选择miniconda里的python路径→点击OK→点击Finish
配置上传文件的存放路径：点击Remote project location后的文件夹→选择centos上存放py文件的路径→选择ok→点击create
配置部署关联路径：Tools→Deployment→Configuration
选择前面配置的远程客户端→选择Mappings→Deployment path的文件夹→选择跟前面上传路径一样的位置→点击OK→点击OK
在后面运行中会出现以下错误，需要代码头部添加以下两段代码
没有设置JAVA运行环境

JAVA_HOME is not set

以下代码

import os
JAVA_HOME='/root/bigdata/jdk'
#向系统环境变量中添加 JAVA_HOME路径
os.environ['JAVA_HOME']=JAVA_HOME

指定Python解释器的位置

Exception: Python in worker has different version 2.7 than that in driver 3.6,
PySpark cannot run with different minor versions.Please check environment variables
PYSPARK_PYTHON and PYSPARK_DRIVER_PYTHON are correctly set.

添加以下代码

PYSPARK_PYTHON = "/miniconda2/envs/py365/bin/python"
os.environ["PYSPARK_PYTHON"] = PYSPARK_PYTHON
os.environ["PYSPARK_DRIVER_PYTHON"] = PYSPARK_PYTHON