背景
GraphX是Spark中用于图计算的模块. Spark安装包中内置Scala语言的GraphX库, 但是对于Python语言的安装包, 需要额外进行安装.
对于内网服务器, 不能访问外网, 安装GraphX的python库graphframes需要进行额外的步骤, 本文介绍如何在Linux下offline为Spark 安装graphframes包.文章来源:https://www.toymoban.com/news/detail-829430.html
安装步骤
- 下载spark-3.5.0-bin-hadoop3.tgz和graphframes-0.8.3-spark3.5-s_2.12.jar
- cd $install_path and tar -zxvf spark-3.5.0-bin-hadoop3.tgz
- cp graphframes-0.8.3-spark3.5-s_2.12.jar $install_path/spark-3.5.0-bin-hadoop3/jars/
- mkdir -p $install_path/pluginlib/graphframes
- cp graphframes-0.8.3-spark3.5-s_2.12.jar $install_path/pluginlib/graphframes/
- jar xf graphframes-0.8.3-spark3.5-s_2.12.jar
- 添加 $install_path/pluginlib/graphframes 到环境PYTHONPATH环境变量
这样, 就可以使用graphframes库了文章来源地址https://www.toymoban.com/news/detail-829430.html
到了这里,关于Linux下Spark offline安装graphframes包的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!