spark-udf函数-Toy模板网

这篇具有很好参考价值的文章主要介绍了spark-udf函数。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

udf函数自定义

from pyspark.sql import SparkSession
from pyspark.sql.types import *

创建连接

ss = SparkSession.builder.getOrCreate()

读取hdfs的数据,格式为csv 读取的是hdfs我还以为会调整一下

8020是namenode的默认端口

df_csv = ss.read.csv(‘hdfs://node1:8020/user/hive/warehouse/data/stu.csv’,
schema=‘name string,age int,gender string,phone string,email string,city string,address string’)
df_csv.show()

对邮箱数据进行处理

def func(email):
username = email.split(‘@’)[0]
email_name = email.split(‘@’)[1].split(‘.’)[0]
# todo 新知识：返回多个数据如何做到？
return [username, email_name]

将定义的函数注册到spark中进行使用

todo 我说之前怎么自定义后用不了，原来是没有注册

第一个函数指定一个注册的函数名称

第二个函数指定一个自定义函数名称

returnType 指定返回的数据类型

注意这里的func不能带括号,返回的数据类型是需要导入另一个包

好好，这里又用一个坑，它不自己跳出来returnType=ArrayType(StringType())

todo returnType=ArrayType(StringType) 里面的这个括号它自己不跳出来

email_func = ss.udf.register(‘email_func’, func, returnType=ArrayType(StringType()))

SQL使用

df_csv.createTempView(‘stu’)
df_csv_show = ss.sql(‘select neme,age,general email_func(email)[1] from stu’)
df_csv_show.show()

DSL

我以为是怎么用的，df_csv.email

df_csv_SQL= df_csv.select(‘name’,‘age’,‘gender’,email_func(‘email’).alias(‘email_data’)[0])
df_csv_SQL.show()文章来源地址https://www.toymoban.com/news/detail-813308.html

到了这里，关于spark-udf函数的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！