1. Toy模板网首页
  2. > Toy博客

Python大数据之PySpark(三)使用Python语言开发Spark程序代码

7月前 作者：AI_Maynor 分类：Toy博客 阅读(38) 违法举报

这篇具有很好参考价值的文章主要介绍了Python大数据之PySpark(三)使用Python语言开发Spark程序代码。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

使用Python语言开发Spark程序代码

  • Spark Standalone的PySpark的搭建----bin/pyspark --master spark://node1:7077
  • Spark StandaloneHA的搭建—Master的单点故障(node1，node2)，zk的leader选举机制，1-2min还原
  • 【scala版本的交互式界面】bin/spark-shell --master xxx
  • 【python版本交互式界面】bin/pyspark --master xxx
  • 【提交任务】bin/spark-submit --master xxxx

【学会配置】Windows的PySpark环境配置

  • 1-安装Andaconda
  • 2-在Anaconda Prompt中安装PySpark
  • windows spark python,# PySpark,python大数据,大数据,python,spark
  • 3-执行安装
  • windows spark python,# PySpark,python大数据,大数据,python,spark
  • 4-使用Pycharm构建Project(准备工作)
  • 需要配置anaconda的环境变量–参考课件
  • 需要配置hadoop3.3.0的安装包，里面有winutils，防止pycharm写代码的过程中报错

补充：
windows spark python,# PySpark,python大数据,大数据,python,spark

windows spark python,# PySpark,python大数据,大数据,python,spark

PyCharm构建Python project

  • 项目规划
  • 项目名称：Bigdata25-pyspark_3.1.2
  • windows spark python,# PySpark,python大数据,大数据,python,spark
  • 模块名称：PySpark-SparkBase_3.1.2,PySpark-SparkCore_3.1.2,PySpark-SparkSQL_3.1.2
  • windows spark python,# PySpark,python大数据,大数据,python,spark
  • 文件夹：
  • main pyspark的代码
  • data 数据文件
  • config 配置文件
  • test 常见python测试代码放在test中

应用入口：SparkContext

  • http://spark.apache.org/docs/latest/rdd-programming-guide.html
  • windows spark python,# PySpark,python大数据,大数据,python,spark
  • windows spark python,# PySpark,python大数据,大数据,python,spark

WordCount代码实战

  • 需求：给你一个文本文件，统计出单词的数量

  • 算子：rdd的api的操作，就是算子，flatMap扁平化算子，map转换算子

  • Transformation算子

  • Action算子

  • 步骤：

  • 1-首先创建SparkContext上下文环境
    2-从外部文件数据源读取数据
    3-执行flatmap执行扁平化操作
    4-执行map转化操作，得到(word,1)
    5-reduceByKey将相同Key的Value数据累加操作
    6-将结果输出到文件系统或打印

  • 代码：

# -*- coding: utf-8 -*-
# Program function： Spark的第一个程序
# 1-思考：sparkconf和sparkcontext从哪里导保
# 2-如何理解算子？Spark中算子有2种，
# 一种称之为Transformation算子(flatMapRDD-mapRDD-reduceBykeyRDD)，
# 一种称之为Action算子（输出到控制台，或文件系统或hdfs），比如collect或saveAsTextFile都是Action算子
from pyspark import SparkConf,SparkContext

if __name__ == '__main__':
   # 1 - 首先创建SparkContext上下文环境
   conf = SparkConf().setAppName("FirstSpark").setMaster("local[*]")
   sc = SparkContext(conf=conf)
   sc.setLogLevel("WARN")#日志输出级别
   # 2 - 从外部文件数据源读取数据
   fileRDD = sc.textFile("D:\BigData\PyWorkspace\Bigdata25-pyspark_3.1.2\PySpark-SparkBase_3.1.2\data\words.txt")
   # print(type(fileRDD))#<class 'pyspark.rdd.RDD'>
   # all the data is loaded into the driver's memory.
   # print(fileRDD.collect())
   # ['hello you Spark Flink', 'hello me hello she Spark']
   # 3 - 执行flatmap执行扁平化操作
   flat_mapRDD = fileRDD.flatMap(lambda words: words.split(" "))
   # print(type(flat_mapRDD))
   # print(flat_mapRDD.collect())
   #['hello', 'you', 'Spark', 'Flink', 'hello', 'me', 'hello', 'she', 'Spark']
   # # 4 - 执行map转化操作，得到(word, 1)
   rdd_mapRDD = flat_mapRDD.map(lambda word: (word, 1))
   # print(type(rdd_mapRDD))#<class 'pyspark.rdd.PipelinedRDD'>
   # print(rdd_mapRDD.collect())
   # [('hello', 1), ('you', 1), ('Spark', 1), ('Flink', 1), ('hello', 1), ('me', 1), ('hello', 1), ('she', 1), ('Spark', 1)]
   # 5 - reduceByKey将相同Key的Value数据累加操作
   resultRDD = rdd_mapRDD.reduceByKey(lambda x, y: x + y)
   # print(type(resultRDD))
   # print(resultRDD.collect())
   # [('Spark', 2), ('Flink', 1), ('hello', 3), ('you', 1), ('me', 1), ('she', 1)]
   # 6 - 将结果输出到文件系统或打印
   resultRDD.saveAsTextFile("D:\BigData\PyWorkspace\Bigdata25-pyspark_3.1.2\PySpark-SparkBase_3.1.2\data\output\wordsAdd")
   # 7-停止SparkContext
   sc.stop()#Shut down the SparkContext.

  • 总结：

  • windows spark python,# PySpark,python大数据,大数据,python,spark

TopK需求

需求：[(‘Spark’, 2), (‘Flink’, 1), (‘hello’, 3), (‘you’, 1), (‘me’, 1), (‘she’, 1)]

排序：[ (‘hello’, 3),(‘Spark’, 2),]

共识：Spark核心或灵魂是rdd，spark的所有操作都是基于rdd的操作

代码：

# -*- coding: utf-8 -*-
# Program function： 针对于value单词统计计数的排序
# 1-思考：sparkconf和sparkcontext从哪里导保
# 2-如何理解算子？Spark中算子有2种，
# 一种称之为Transformation算子(flatMapRDD-mapRDD-reduceBykeyRDD)，
# 一种称之为Action算子（输出到控制台，或文件系统或hdfs），比如collect或saveAsTextFile都是Action算子
from pyspark import SparkConf, SparkContext

if __name__ == '__main__':
# 1 - 首先创建SparkContext上下文环境
conf = SparkConf().setAppName("FirstSpark").setMaster("local[*]")
sc = SparkContext(conf=conf)
sc.setLogLevel("WARN")  # 日志输出级别
# 2 - 从外部文件数据源读取数据
fileRDD = sc.textFile("D:\BigData\PyWorkspace\Bigdata25-pyspark_3.1.2\PySpark-SparkBase_3.1.2\data\words.txt")
# print(type(fileRDD))#<class 'pyspark.rdd.RDD'>
# all the data is loaded into the driver's memory.
# print(fileRDD.collect())
# ['hello you Spark Flink', 'hello me hello she Spark']
# 3 - 执行flatmap执行扁平化操作
flat_mapRDD = fileRDD.flatMap(lambda words: words.split(" "))
# print(type(flat_mapRDD))
# print(flat_mapRDD.collect())
# ['hello', 'you', 'Spark', 'Flink', 'hello', 'me', 'hello', 'she', 'Spark']
# # 4 - 执行map转化操作，得到(word, 1)
rdd_mapRDD = flat_mapRDD.map(lambda word: (word, 1))
# print(type(rdd_mapRDD))#<class 'pyspark.rdd.PipelinedRDD'>
# print(rdd_mapRDD.collect())
# [('hello', 1), ('you', 1), ('Spark', 1), ('Flink', 1), ('hello', 1), ('me', 1), ('hello', 1), ('she', 1), ('Spark', 1)]
# 5 - reduceByKey将相同Key的Value数据累加操作
resultRDD = rdd_mapRDD.reduceByKey(lambda x, y: x + y)
# print(type(resultRDD))
print(resultRDD.collect())
# [('Spark', 2), ('Flink', 1), ('hello', 3), ('you', 1), ('me', 1), ('she', 1)]
# 6 针对于value单词统计计数的排序
print("==============================sortBY=============================")
print(resultRDD.sortBy(lambda x: x[1], ascending=False).take(3))
# [('hello', 3), ('Spark', 2), ('Flink', 1)]
print(resultRDD.sortBy(lambda x: x[1], ascending=False).top(3, lambda x: x[1]))
print("==============================sortBykey=============================")
print(resultRDD.map(lambda x: (x[1], x[0])).collect())
# [(2, 'Spark'), (1, 'Flink'), (3, 'hello'), (1, 'you'), (1, 'me'), (1, 'she')]
print(resultRDD.map(lambda x: (x[1], x[0])).sortByKey(False).take(3))
#[(3, 'hello'), (2, 'Spark'), (1, 'Flink')]
# 7-停止SparkContext
sc.stop()  # Shut down the SparkContext.
  • sortBy
  • sortByKey操作

从HDFS读取数据

# -*- coding: utf-8 -*-
# Program function： 从HDFS读取文件

from pyspark import SparkConf, SparkContext
import time
if __name__ == '__main__':
 # 1 - 首先创建SparkContext上下文环境
 conf = SparkConf().setAppName("FromHDFS").setMaster("local[*]")
 sc = SparkContext(conf=conf)
 sc.setLogLevel("WARN")  # 日志输出级别
 # 2 - 从外部文件数据源读取数据
 fileRDD = sc.textFile("hdfs://node1:9820/pydata/input/hello.txt")
 # ['hello you Spark Flink', 'hello me hello she Spark']
 # 3 - 执行flatmap执行扁平化操作
 flat_mapRDD = fileRDD.flatMap(lambda words: words.split(" "))
 # ['hello', 'you', 'Spark', 'Flink', 'hello', 'me', 'hello', 'she', 'Spark']
 # # 4 - 执行map转化操作，得到(word, 1)
 rdd_mapRDD = flat_mapRDD.map(lambda word: (word, 1))
 # [('hello', 1), ('you', 1), ('Spark', 1), ('Flink', 1), ('hello', 1), ('me', 1), ('hello', 1), ('she', 1), ('Spark', 1)]
 # 5 - reduceByKey将相同Key的Value数据累加操作
 resultRDD = rdd_mapRDD.reduceByKey(lambda x, y: x + y)
 # print(type(resultRDD))
 print(resultRDD.collect())

 # 休息几分钟
 time.sleep(600)

 # 7-停止SparkContext
 sc.stop()  # Shut down the SparkContext.
  • windows spark python,# PySpark,python大数据,大数据,python,spark

提交代码到集群执行

  • 关键：sys.argv[1],

  • 代码：

# -*- coding: utf-8 -*-
# Program function： 提交任务执行

import sys

from pyspark import SparkConf, SparkContext

if __name__ == '__main__':
   # 1 - 首先创建SparkContext上下文环境
   conf = SparkConf().setAppName("FromHDFS").setMaster("local[*]")
   sc = SparkContext(conf=conf)
   sc.setLogLevel("WARN")  # 日志输出级别
   # 2 - 从外部文件数据源读取数据
   # hdfs://node1:9820/pydata/input/hello.txt
   fileRDD = sc.textFile(sys.argv[1])
   # ['hello you Spark Flink', 'hello me hello she Spark']
   # 3 - 执行flatmap执行扁平化操作
   flat_mapRDD = fileRDD.flatMap(lambda words: words.split(" "))
   # ['hello', 'you', 'Spark', 'Flink', 'hello', 'me', 'hello', 'she', 'Spark']
   # # 4 - 执行map转化操作，得到(word, 1)
   rdd_mapRDD = flat_mapRDD.map(lambda word: (word, 1))
   # [('hello', 1), ('you', 1), ('Spark', 1), ('Flink', 1), ('hello', 1), ('me', 1), ('hello', 1), ('she', 1), ('Spark', 1)]
   # 5 - reduceByKey将相同Key的Value数据累加操作
   resultRDD = rdd_mapRDD.reduceByKey(lambda x, y: x + y)
   # print(type(resultRDD))
   resultRDD.saveAsTextFile(sys.argv[2])
   # 7-停止SparkContext
   sc.stop()  # Shut down the SparkContext.

  • 结果：

  • windows spark python,# PySpark,python大数据,大数据,python,spark

[掌握-扩展阅读]远程PySpark环境配置

  • 需求：需要将PyCharm连接服务器，同步本地写的代码到服务器上，使用服务器上的Python解析器执行

  • 步骤：

  • 1-准备PyCharm的连接

  • windows spark python,# PySpark,python大数据,大数据,python,spark

  • 2-需要了解服务器的地址，端口号，用户名，密码

  • windows spark python,# PySpark,python大数据,大数据,python,spark

  • windows spark python,# PySpark,python大数据,大数据,python,spark

  • windows spark python,# PySpark,python大数据,大数据,python,spark

  • 设置自动的上传，如果不太好使，重启pycharm

  • windows spark python,# PySpark,python大数据,大数据,python,spark

  • 3-pycharm读取的文件都需要上传到linux中，复制相对路径

  • windows spark python,# PySpark,python大数据,大数据,python,spark

  • 4-执行代码在远程服务器上

  • windows spark python,# PySpark,python大数据,大数据,python,spark

  • 5-执行代码

# -*- coding: utf-8 -*-
# Program function： Spark的第一个程序
# 1-思考：sparkconf和sparkcontext从哪里导保
# 2-如何理解算子？Spark中算子有2种，
# 一种称之为Transformation算子(flatMapRDD-mapRDD-reduceBykeyRDD)，
# 一种称之为Action算子（输出到控制台，或文件系统或hdfs），比如collect或saveAsTextFile都是Action算子
from pyspark import SparkConf, SparkContext

if __name__ == '__main__':
 # 1 - 首先创建SparkContext上下文环境
 conf = SparkConf().setAppName("FirstSpark").setMaster("local[*]")
 sc = SparkContext(conf=conf)
 sc.setLogLevel("WARN")  # 日志输出级别
 # 2 - 从外部文件数据源读取数据
 fileRDD = sc.textFile("/export/data/pyspark_workspace/PySpark-SparkBase_3.1.2/data/words.txt")
 # fileRDD = sc.parallelize(["hello you", "hello me", "hello spark"])
 # 3 - 执行flatmap执行扁平化操作
 flat_mapRDD = fileRDD.flatMap(lambda words: words.split(" "))
 # print(type(flat_mapRDD))
 # print(flat_mapRDD.collect())
 # ['hello', 'you', 'Spark', 'Flink', 'hello', 'me', 'hello', 'she', 'Spark']
 # # 4 - 执行map转化操作，得到(word, 1)
 rdd_mapRDD = flat_mapRDD.map(lambda word: (word, 1))
 # print(type(rdd_mapRDD))#<class 'pyspark.rdd.PipelinedRDD'>
 # print(rdd_mapRDD.collect())
 # [('hello', 1), ('you', 1), ('Spark', 1), ('Flink', 1), ('hello', 1), ('me', 1), ('hello', 1), ('she', 1), ('Spark', 1)]
 # 5 - reduceByKey将相同Key的Value数据累加操作
 resultRDD = rdd_mapRDD.reduceByKey(lambda x, y: x + y)
 # print(type(resultRDD))
 print(resultRDD.collect())
 # [('Spark', 2), ('Flink', 1), ('hello', 3), ('you', 1), ('me', 1), ('she', 1)]
 # 6 - 将结果输出到文件系统或打印
 # resultRDD.saveAsTextFile("D:\BigData\PyWorkspace\Bigdata25-pyspark_3.1.2\PySpark-SparkBase_3.1.2\data\output\wordsAdd")
 # 7-停止SparkContext
 sc.stop()  # Shut down the SparkContext.

  • 切记忘记上传python的文件，直接执行

  • 注意1：自动上传设置

  • windows spark python,# PySpark,python大数据,大数据,python,spark

  • 注意2：增加如何使用standalone和HA的方式提交代码执行

  • 但是需要注意，尽可能使用hdfs的文件，不要使用单机版本的文件，因为standalone是集群模式

# -*- coding: utf-8 -*-

# Program function： Spark的第一个程序

# 1-思考：sparkconf和sparkcontext从哪里导保

# 2-如何理解算子？Spark中算子有2种，

# 一种称之为Transformation算子(flatMapRDD-mapRDD-reduceBykeyRDD)，

# 一种称之为Action算子（输出到控制台，或文件系统或hdfs），比如collect或saveAsTextFile都是Action算子

>from pyspark import SparkConf, SparkContext
>
>if __name__ == '__main__':
>
># 1 - 首先创建SparkContext上下文环境
>
>conf = SparkConf().setAppName("FirstSpark").setMaster("spark://node1:7077,node2:7077")
>sc = SparkContext(conf=conf)
>sc.setLogLevel("WARN")  # 日志输出级别
>
># 2 - 从外部文件数据源读取数据
>
>fileRDD = sc.textFile("hdfs://node1:9820/pydata/input/hello.txt")
>
># fileRDD = sc.parallelize(["hello you", "hello me", "hello spark"])
>
># 3 - 执行flatmap执行扁平化操作
>
>flat_mapRDD = fileRDD.flatMap(lambda words: words.split(" "))
>
># print(type(flat_mapRDD))
>
># print(flat_mapRDD.collect())
>
># ['hello', 'you', 'Spark', 'Flink', 'hello', 'me', 'hello', 'she', 'Spark']
>
># # 4 - 执行map转化操作，得到(word, 1)
>
>rdd_mapRDD = flat_mapRDD.map(lambda word: (word, 1))
>
># print(type(rdd_mapRDD))#<class 'pyspark.rdd.PipelinedRDD'>
>
># print(rdd_mapRDD.collect())
>
># [('hello', 1), ('you', 1), ('Spark', 1), ('Flink', 1), ('hello', 1), ('me', 1), ('hello', 1), ('she', 1), ('Spark', 1)]
>
># 5 - reduceByKey将相同Key的Value数据累加操作
>
>resultRDD = rdd_mapRDD.reduceByKey(lambda x, y: x + y)
>
># print(type(resultRDD))
>
>print(resultRDD.collect())
>
># [('Spark', 2), ('Flink', 1), ('hello', 3), ('you', 1), ('me', 1), ('she', 1)]
>
># 6 - 将结果输出到文件系统或打印
>
># resultRDD.saveAsTextFile("D:\BigData\PyWorkspace\Bigdata25-pyspark_3.1.2\PySpark-SparkBase_3.1.2\data\output\wordsAdd")
>
># 7-停止SparkContext
>
>sc.stop()  # Shut down the SparkContext.

总结

  • 函数式编程

  • #Python中的函数式编程
#1-map(func, *iterables) --> map object
def fun(x):
    return x*x
#x=[1,2,3,4,5] y=map(fun,[1,2,3,4,5]) #[1, 4, 9, 16, 25]
print(list(map(fun, [1, 2, 3, 4, 5])))
#2-lambda 匿名函数  java: x=>x*x 表达式  Scala:x->x*x
g=lambda x:x*x
print(g(10))
print(list(map(lambda x:x*x, [1, 2, 3, 4, 5])))
def add(x,y):
    return x+y

print(list(map(add, range(5), range(5, 10))))
print(list(map(lambda x,y:x+y,range(5),range(5,10))))
#3- [add(x,y) for x,y in zip(range(5),range(5,10))]

# print(list(zip([1, 2, 3], [4, 5, 6])))#[1,4],[2,5]
# print(list(zip([1, 2, 3], [4, 5, 6,7])))#[1,4],[2,5]
# print(list(zip([1, 2, 3,6], [4, 5, 6])))#[1,4],[2,5]

# 语法 lambda表达式语言：【lambda 变量：表达式】
# 列表表达式 [表达式 for 变量 in 可迭代的序列中 if 条件]
print([add(x, y) for x, y in zip(range(5), range(5))])
#[0, 2, 4, 6, 8]
#3-reduce
from functools import  reduce
# ((((1+2)+3)+4)+5)
print(reduce(lambda x, y: x + y, [1, 2, 3, 4, 5]))



# 4-filter
seq1=['foo','x41','?1','***']
def func(x):
    #Return True if the string is an alpha-numeric string
    return x.isalnum()
print(list(filter(func,seq1))) #返回 filter 对象

# sorted()
# 最后我们可以看到，函数式编程有如下好处：
# 1）代码更简单了。
# 2）数据集，操作，返回值都放到了一起。
# 3）你在读代码的时候，没有了循环体，于是就可以少了些临时变量，以及变量倒来倒去逻辑。
# 4）你的代码变成了在描述你要干什么，而不是怎么去干。

    后记

📢博客主页：https://manor.blog.csdn.net

📢欢迎点赞 👍 收藏 ⭐留言 📝 如有错误敬请指正！
📢本文由 Maynor 原创，首发于 CSDN博客🙉
📢感觉这辈子，最深情绵长的注视，都给了手机⭐
📢专栏持续更新,欢迎订阅：https://blog.csdn.net/xianyu120/category_12453356.html文章来源地址https://www.toymoban.com/news/detail-795726.html

到了这里，关于Python大数据之PySpark(三)使用Python语言开发Spark程序代码的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处： 如若内容造成侵权/违法违规/事实不符，请点击违法举报进行投诉反馈，一经查实，立即删除！

分享到：
领支付宝红包 赞助服务器费用

相关文章

  • 《PySpark大数据分析实战》-12.Spark on YARN配置Spark运行在YARN上

    《PySpark大数据分析实战》-12.Spark on YARN配置Spark运行在YARN上

    📋 博主简介 💖 作者简介：大家好，我是wux_labs。😜 热衷于各种主流技术，热爱数据科学、机器学习、云计算、人工智能。 通过了TiDB数据库专员（PCTA）、TiDB数据库专家（PCTP）、TiDB数据库认证SQL开发专家（PCSD）认证。 通过了微软Azure开发人员、Azure数据工程师、Azure解决

    2024年02月03日
    浏览(39)
  • 林子雨 VirtualBox + Ubuntu[linux] 配置 java、hadoop、Spark[python]、pyspark快速配置流程

    林子雨 VirtualBox + Ubuntu[linux] 配置 java、hadoop、Spark[python]、pyspark快速配置流程

    按照步骤快速执行shell，最快速配置。 读者可以根据该篇随记快速回顾流程，以及用到的shell指令和相关配置文件。 是林老师教程的精简版，初次配置者只能作为流程参考，主要和林子雨Spark[python]版课程配套。  林老师厦大实验指南链接如下： Spark编程基础（Python版）教材官

    2024年04月12日
    浏览(33)
  • 【Python】PySpark 数据计算 ③ ( RDD#reduceByKey 函数概念 | RDD#reduceByKey 方法工作流程 | RDD#reduceByKey 语法 | 代码示例 )

    【Python】PySpark 数据计算 ③ ( RDD#reduceByKey 函数概念 | RDD#reduceByKey 方法工作流程 | RDD#reduceByKey 语法 | 代码示例 )

    RDD#reduceByKey 方法 是 PySpark 中 提供的计算方法 , 首先 , 对 键值对 KV 类型 RDD 对象 数据 中 相同 键 key 对应的 值 value 进行分组 , 然后 , 按照 开发者 提供的 算子 ( 逻辑 / 函数 ) 进行 聚合操作 ; 上面提到的 键值对 KV 型 的数据 , 指的是 二元元组 , 也就是 RDD 对象中存储的数据是

    2024年02月14日
    浏览(36)

  • spark底层为什么选择使用scala语言开发

    基于Scala的语言特性 集成性：Scala 是一种运行在 Java 虚拟机（JVM）上的静态类型编程语言，可以与 Java 代码无缝集成。由于 Spark 涉及到与大量 Java 生态系统的交互，例如 Hadoop、Hive 等，使用 Scala 可以方便地与这些组件进行集成和交互。 函数式编程支持：Scala 是一种面向函数

    2024年02月10日
    浏览(40)
  • Spark使用Python开发和RDD

    Spark使用Python开发和RDD

    在所有节点上按照python3，版本必须是python3.6及以上版本 修改所有节点的环境变量 在pyspark shell使用python编写wordcount RDD的全称为Resilient Distributed Dataset，是一个弹性、可复原的分布式数据集，是Spark中最基本的抽象，是一个不可变的、有多个分区的、可以并行计算的集合。RDD中

    2024年02月11日
    浏览(24)
  • 使用Pycharm运行spark实例时没有pyspark包（ModuleNotFoundError: No module named ‘py4j‘）

    使用Pycharm运行spark实例时没有pyspark包（ModuleNotFoundError: No module named ‘py4j‘）

    在安装并配置pyspark，下载并打开Pycharm（专业版）后进行spark实例操作（笔者以统计文件中的行数为例）时，运行程序后提示ModuleNotFoundError: No module named \\\'py4j\\\'： 1.下载py4j包后下载pyspark包 打开新终端，在终端中输入（若在pycharm中进行下载可能导致下载失败，这里指定使用清华

    2024年04月26日
    浏览(24)
  • 【Python】PySpark 数据处理 ② ( 安装 PySpark | PySpark 数据处理步骤 | 构建 PySpark 执行环境入口对象 )

    【Python】PySpark 数据处理 ② ( 安装 PySpark | PySpark 数据处理步骤 | 构建 PySpark 执行环境入口对象 )

    执行 Windows + R , 运行 cmd 命令行提示符 , 在命令行提示符终端中 , 执行 命令 , 安装 PySpark , 安装过程中 , 需要下载 310 M 的安装包 , 耐心等待 ; 安装完毕 : 命令行输出 : 如果使用 官方的源 下载安装 PySpark 的速度太慢 , 可以使用 国内的 镜像网站 https://pypi.tuna.tsinghua.edu.cn/simple

    2024年02月06日
    浏览(31)
  • Python大数据之PySpark(二)PySpark安装

    Python大数据之PySpark(二)PySpark安装

    1-明确PyPi库，Python Package Index 所有的Python包都从这里下载，包括pyspark 2-为什么PySpark逐渐成为主流？ http://spark.apache.org/releases/spark-release-3-0-0.html Python is now the most widely used language on Spark. PySpark has more than 5 million monthly downloads on PyPI, the Python Package Index. 记住如果安装特定的版本

    2024年02月04日
    浏览(31)
  • Spark与PySpark(1.概述、框架、模块)

    Spark与PySpark(1.概述、框架、模块)

    目录 1.Spark 概念 2. Hadoop和Spark的对比 3. Spark特点 3.1 运行速度快 3.2 简单易用 3.3 通用性强 3.4 可以允许运行在很多地方 4. Spark框架模块 4.1 Spark Core 4.2 SparkSQL 4.3 SparkStreaming 4.4 MLlib 4.5 GraphX 5. Spark的运行模式 5.1 本地模式(单机) Local运行模式 5.2 Standalone模式（集群） 5.3 Hado

    2024年02月02日
    浏览(30)
  • 【Python使用】嘿马头条完整开发md笔记第2篇：数据库,作用【附代码文档】

    【Python使用】嘿马头条完整开发md笔记第2篇：数据库,作用【附代码文档】

    嘿马头条项目从到完整开发笔记总结完整教程（附代码资料）主要内容讲述：课程简介，ToutiaoWeb虚拟机使用说明，Pycharm远程开发，产品与开发，数据库1 产品介绍,2 原型图与UI图,3 技术架构,4 开发。OSS对象存储，七牛云存储，CDN，缓存。缓存，缓存架构，缓存数据，缓存有效

    2024年03月18日
    浏览(35)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包，优惠每天领

二维码1

领取红包

二维码2

领红包