项目场景:
使用python的第三方库pyspark,运行时出现环境变量错误
问题描述
问题如下:
Missing Python executable 'python3', defaulting to 'E:\python\Lib\site-packages\pyspark\bin\..' for SPARK_HOME environment variable. Please install Python or specify the correct Python executable in PYSPARK_DRIVER_PYTHON or PYSPARK_PYTHON environment variable to detect SPARK_HOME safely.
大概意思就是缺少SPARK_HOME
的环境变量和PYSPARK_PYTHON
的变量,需要在环境变量中配置
注意:使用pyspark算子的时候,可能会提示“找不到python解释器”的错误,那么配置PYSPARK_PYTHON
同样可以解决这个问题
解决方案:
SPARK_HOME=E:\python\Lib\site-packages\pyspark
PYSPARK_PYTHON=E:\python\python.exe
%SPARK_HOME%\bin…
- 第一步:
在环境变量里面新建一个SPARK_HOME
变量,值就是你pyspark安装的地方,我安装到下面的路径了,找自己pyspark安装的路径
E:\python\Lib\site-packages\pyspark
- 第二步:
然后在添加一个变量PYSPARK_PYTHON
,变量值填上自己的python解释器的路径,我的路径是
E:\python\python.exe
- 第三步:
在path路径中添加SPARK_HOME
的bin
路径
重启pycharm,再次运行项目,发现成功运行成功
拓展:
刚才提到,使用pyspark算子的时候,可能会报错,提示找不到python解释器,这个一般不是我们代码逻辑的问题,而需要我们做一些配置
-
第一种方法:
按照上面的步骤配置
PYSPARK_PYTHON
到环境变量,可以解决这个问题 -
在pycharm中手动配置python解释器文章来源:https://www.toymoban.com/news/detail-850965.html
import os
os.environ['PYSPARK_PYTHON'] = "E:/python/python.exe"
environ本质就是一个字典,添加一个键值对,就是配置python的解释器文章来源地址https://www.toymoban.com/news/detail-850965.html
到了这里,关于在pycharm中使用PySpark第三方包时出现环境变量错误的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!