首先,要知道PySpark是Spark为Python提供的API库,因此使用`pip install pyspark`下载pyspark不等于下载了spark。因此,配置pyspark环境,首先需要下载spark。
(1)linux下载spark的命令:
wget https://dlcdn.apache.org/spark/spark-3.3.1/spark-3.3.1-bin-hadoop3.tgz
(2)spark运行环境需要java,因此需要下载java。
(3)下载好jdk和spark之后,需要在`.bashrc`中配置`JAVA_HOME`和`SPARK_HOME`:文章来源:https://www.toymoban.com/news/detail-514578.html
export JAVA_HOME=/home/***/softwares/jdk1.8.0_241
export SPARK_HOME=/home/***/softwares/spark-3.3.1-bin-hadoop3
(4)配置成功。使用`pyspark`打开交互式环境。文章来源地址https://www.toymoban.com/news/detail-514578.html
到了这里,关于PySpark环境配置的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!