在pycharm中使用PySpark第三方包时出现环境变量错误

这篇具有很好参考价值的文章主要介绍了在pycharm中使用PySpark第三方包时出现环境变量错误。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

项目场景:

使用python的第三方库pyspark,运行时出现环境变量错误


问题描述

问题如下:

Missing Python executable 'python3', defaulting to 'E:\python\Lib\site-packages\pyspark\bin\..' for SPARK_HOME environment variable. Please install Python or specify the correct Python executable in PYSPARK_DRIVER_PYTHON or PYSPARK_PYTHON environment variable to detect SPARK_HOME safely.

大概意思就是缺少SPARK_HOME的环境变量和PYSPARK_PYTHON的变量,需要在环境变量中配置

注意:使用pyspark算子的时候,可能会提示“找不到python解释器”的错误,那么配置PYSPARK_PYTHON同样可以解决这个问题


解决方案:

SPARK_HOME=E:\python\Lib\site-packages\pyspark
PYSPARK_PYTHON=E:\python\python.exe
%SPARK_HOME%\bin…

  1. 第一步:

在环境变量里面新建一个SPARK_HOME变量,值就是你pyspark安装的地方,我安装到下面的路径了,找自己pyspark安装的路径

E:\python\Lib\site-packages\pyspark

missing python executable 'python3,pycharm,ide,python

  1. 第二步:

然后在添加一个变量PYSPARK_PYTHON,变量值填上自己的python解释器的路径,我的路径是

E:\python\python.exe

missing python executable 'python3,pycharm,ide,python

  1. 第三步:

在path路径中添加SPARK_HOMEbin路径
missing python executable 'python3,pycharm,ide,python
重启pycharm,再次运行项目,发现成功运行成功


拓展:

刚才提到,使用pyspark算子的时候,可能会报错,提示找不到python解释器,这个一般不是我们代码逻辑的问题,而需要我们做一些配置

  1. 第一种方法:

    按照上面的步骤配置PYSPARK_PYTHON到环境变量,可以解决这个问题

  2. 在pycharm中手动配置python解释器

import os
os.environ['PYSPARK_PYTHON'] = "E:/python/python.exe"

environ本质就是一个字典,添加一个键值对,就是配置python的解释器文章来源地址https://www.toymoban.com/news/detail-850965.html

到了这里,关于在pycharm中使用PySpark第三方包时出现环境变量错误的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • python-切换镜像源和使用PyCharm进行第三方开源包安装

      如果您觉得有用的话,记得给 博主点个赞,评论,收藏一键三连啊 ,写作不易啊^ _ ^。   而且听说 点赞的人每天的运气都不会太差 ,实在白嫖的话,那欢迎常来啊!!! 1. 切换镜像源 切换镜像源,多的不说,敏感字就不写了,会被拦截 点击下面红框处: 把里面的内容替

    2024年02月07日
    浏览(37)
  • 第三方开发工具—PyCharm(安装、使用、汉化)超详细、图超多、注脚特多(Windows操作系统)

    目录 前言 一、PyCharm安装 安装地址 安装步骤 二、第一次启动 三、使用(开始编程) 1.第一个文件夹 2.第一个程序 3.运行第一个程序 四、汉化插件 五、总结 做任何事情时,舒适的环境是非常重要的。一个好的软件开发环境能给人带来不一样的体验。 先让我们来看看PyCharm的

    2024年02月03日
    浏览(34)
  • 避免使用第三方工具完成电脑环境检测

    在之前配置各种深度学习环境的时候经常需要先检测一下电脑的软硬件环境,其实整个过程比较重复和固定,所以我们是否有可能一键检测Python版本、PIP版本、Conda版本、CUDA版本、电脑系统、CPU核数、CPU频率、内存、硬盘等内容这是很多Deepper苦恼的。这里会从软件开始介绍,

    2024年02月10日
    浏览(48)
  • PyCharm第三方库配置--添加镜像

    PyCharm安装后,默认的是python官方的第三方库下载地址PyPI(Python Package Index),PyPI覆盖的库不一定好下载,使用国内的镜像源稍微好下载一些。 Ps:首先在cmd中检查(输入pip list)第三方库是否存在,这儿不存在,即,没有可用的库 添加多个镜像源后,下载时会从所有添加的镜像

    2024年02月09日
    浏览(39)
  • PyCharm中如何安装第三方库?

    本教程由:大侠(AhcaoZhu) 编写。 已知的有多种方法,可以知道你的系统已经安装了哪些库或模块。下面一一列举,其实,你知道其中一种就已经足够了。 在 安装目录Lib 下面,就是已经安装的库。 1)打开控制台。键入命令 help() 如果你找不到控制台,见下图中(1) 2)然后

    2023年04月20日
    浏览(32)
  • pycharm无法加载第三方库问题解决

    1、问题展示 (1)python -m pip uninstall pip (2)python -m ensurepip (3)python -m pip install --upgrade pip -i https://pypi.douban.com/simple

    2024年01月25日
    浏览(36)
  • Python---Pycharm安装各种库(第三方库)

            Pycharm中,通常需要安装很多第三方库,才可以使用相应的拓展功能,这篇文档给你介绍Pycharm中的常用库,以及安装的两种方法! Pycharm是一款非常流行的Python集成开发环境(IDE),支持多种Python库和框架。以下是一些常用的Python库: NumPy:用于科学计算和数值分析

    2024年02月04日
    浏览(44)
  • Pycharm安装cv2第三方库失败

            在百度上查询资料,不存在cv2库,实际需要安装的是名为opencv-python的库。         直接在Terminal界面输入:pip install opencv-python即可安装了。

    2024年02月11日
    浏览(35)
  • Python PyCharm从国内镜像站安装第三方库

    目录 国内镜像源 安装第三方库 一、pip工具安装第三方库 1、输入命令查看已安装的第三方库 2、安装第三方库 二、pycharm安装第三方库 1、命令行安装 2、添加国内镜像源再安装第三方库   镜像站名    网址 清华大学: https://pypi.tuna.tsinghua.edu.cn/simple/ 阿里云: https://mirrors

    2024年02月01日
    浏览(39)
  • pycharm下载第三方模块之pip永久换源

    因为pycharm自带的pip install 下载比较慢,它的第三方包都在 pypi 上,而这个pypi 是国外的网站,所有下载起来比较慢 临时换源:pip install -i 源地址(清华,阿里,豆瓣) 推荐使用使用清华源和阿里源 永久换源,只要pip install 就是去国内镜像站下载 3.1、windows上配置 如图:以后只

    2024年02月16日
    浏览(38)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包