Pyspark综合案例（pyspark安装和java运行环境配置）-Toy模板网

这篇具有很好参考价值的文章主要介绍了Pyspark综合案例（pyspark安装和java运行环境配置）。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

一、RDD对象

PySpark支持多种数据的输入，在输入完成后，都会得到一个：RDD类的对象

RDD全称为：弹性分布式数据集（Resilient Distributed Datasets）

PySpark针对数据的处理，都是以RDD对象作为载体，即：

数据存储在RDD内
各类数据的计算方法，也都是RDD的成员方法
RDD的数据计算方法，返回值依旧是RDD对象

pyspark怎么需要用java,Python学习,人工智能,数据处理,java,开发语言,python

PySpark的编程模型可以归纳为：准备数据到RDD -> RDD迭代计算 -> RDD导出为list、文本文件等，即：源数据 -> RDD -> 结果数据

二、Python数据容器转RDD对象

PySpark支持通过SparkContext对象的parallelize成员方法，将：list、tuple、set、dict、str转换为PySpark的RDD对象

pyspark怎么需要用java,Python学习,人工智能,数据处理,java,开发语言,python

PySpark也支持通过SparkContext入口对象，来读取文件，来构建出RDD对象。

pyspark怎么需要用java,Python学习,人工智能,数据处理,java,开发语言,python

代码案例：

"""
#通过PySpark代码加载数据，即数据输入
"""
from pyspark import SparkConf,SparkContext
conf = SparkConf().setMaster("local[*]").setAppName("test_spark")
sc = SparkContext(conf = conf)

# 通过parallelize方法将Python对象加载到Spark内，成为RDD对象
rdd1 = sc.parallelize([1, 2, 3, 4, 5])
rdd2 = sc.parallelize((1, 2, 3, 4, 5))
rdd3 = sc.parallelize("abcdefg")
rdd4 = sc.parallelize({1, 2, 3, 4, 5})
rdd5 = sc.parallelize({"key1": "value1", "key2": "value2"})

# 如果要查看RDD里面有什么内容，需要用collect()方法
print(rdd1.collect())
print(rdd2.collect())
print(rdd3.collect())
print(rdd4.collect())
print(rdd5.collect())

打印结果：

pyspark怎么需要用java,Python学习,人工智能,数据处理,java,开发语言,python