【Spark】concat、concat_ws函数的使用

这篇具有很好参考价值的文章主要介绍了【Spark】concat、concat_ws函数的使用。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

目录

前言/简介

实践应用

1、concat()函数

2、concat_ws()函数


前言/简介

        在使用Spark-hive技术处理逻辑时,经常会使用concat()、和concat_ws()字符串连接函数。这两个函数在spark的用户自定义函数和hive的用户自定义函数中都存在,Spark也是支持hive用户自定义函数的。两者主要使用区别如下:

  1. concat():只要其中一个字符串为null,结果将返回null;
  2. concat_ws():第一个参数为字符串分隔符设置,只要有一个字符串不为null,返回结果就不会为null;

实践应用

1、concat()函数

select concat("我是","一名","攻城狮") from tmp;
我是一名攻城狮

select concat("我是",null,"攻城狮") from tmp;
NULL 

2、concat_ws()函数

select concat_ws(",","我是","一名","攻城狮") from tmp;
我是,一名,攻城狮

select concat_ws(",","我是",null,"攻城狮") from tmp;
我是,攻城狮

在hive中null和NULL等价; 文章来源地址https://www.toymoban.com/news/detail-607957.html

到了这里,关于【Spark】concat、concat_ws函数的使用的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • hive的concat()、concat_ws()和collect_list()、collect_set()的用法

    concat():函数在连接字符串的时候,只要其中一个是NULL,那么将返回NULL。 concat_ws():函数在连接字符串的时候,只要有一个字符串不是NULL,就不会返回NULL。concat_ws():函数需要指定分隔符。 他们都是将分组中的某列转为一个数组返回,不同的是collect_list不去重,而collect_s

    2024年02月04日
    浏览(40)
  • Spark_SQL函数定义(定义UDF函数、使用窗口函数)

                        一、UDF函数定义         (1)函数定义         (2)Spark支持定义函数         (3)定义UDF函数                 (4)定义返回Array类型的UDF         (5)定义返回字典类型的UDF 二、窗口函数         (1)开窗函数简述         (2)

    2024年02月03日
    浏览(33)
  • Spark 7:Spark SQL 函数定义

    SparkSQL 定义UDF函数 方式1语法: udf对象 = sparksession.udf.register(参数1,参数2,参数3) 参数1:UDF名称,可用于SQL风格 参数2:被注册成UDF的方法名 参数3:声明UDF的返回值类型 udf对象: 返回值对象,是一个UDF对象,可用于DSL风格 方式2语法: udf对象 = F.udf(参数1, 参数2) 参数

    2024年02月11日
    浏览(35)
  • 大数据技术之Spark——Spark SQL

            Spark SQL是Spark用于结构化数据处理的Spark模块。         我们之前学习过hive,hive是一个基于hadoop的SQL引擎工具,目的是为了简化mapreduce的开发。由于mapreduce开发效率不高,且学习较为困难,为了提高mapreduce的开发效率,出现了hive,用SQL的方式来简化mapreduce:hiv

    2024年02月12日
    浏览(36)
  • Spark SQL 内置函数

    1、10类内置函数 Spark SQL内置了大量的函数,位于API org.apache.spark.sql.functions中。这些函数主要分为10类:UDF函数、聚合函数、日期函数、排序函数、非聚合函数、数学函数、混杂函数、窗口函数、字符串函数、集合函数,大部分函数与Hive中相同。 2、两种使用方式 使用内置函

    2024年02月09日
    浏览(38)
  • Spark SQL函数定义

    目录 窗口函数 SQL函数分类 Spark原生自定义UDF函数 Pandas的UDF函数 Apache Arrow框架基本介绍 基于Arrow完成Pandas DataFrame和Spark DataFrame互转 基于Pandas完成UDF函数  自定义UDF函数 自定义UDAF函数 分析函数 over(partition by xxx order by xxx [asc|desc] [rows between xxx and xxx]) 分析函数可以大致分成如

    2024年01月21日
    浏览(65)
  • 大数据技术(入门篇)--- 使用Spring Boot 操作 CDH6.2.0 Spark SQL进行离线计算

    CDH 6.2.0 搭建的环境,并不能直接使用 spark 相关资源,需要对此服务端环境进行一些修改 Spark 目前仅支持 JDK1.8, Java项目运行环境只能使用JDK 1.8 我这里使用的是 CDH6.2.0集群,因此使用的依赖为CDH专用依赖,需要先添加仓库 spark 使用scala 语言编写,因此项目中使用的scala依赖版

    2024年02月08日
    浏览(71)
  • 16 | Spark SQL 的 UDF(用户自定义函数)

    UDF(用户自定义函数) :Spark SQL 允许用户定义自定义函数,以便在 SQL 查询或 DataFrame 操作中使用。这些 UDF 可以扩展 Spark SQL 的功能,使用户能够执行更复杂的数据操作。 示例:

    2024年02月10日
    浏览(32)
  • Spark SQL示例用法所有函数示例权威详解一【建议收藏】

    Spark中所有功能的入口点是 SparkSession 类。要创建一个基本的 SparkSession ,只需使用 SparkSession.builder() : 完整示例代码可在Spark存储库的“examples/src/main/scala/org/apache/spark/examples/sql/SparkSQLExample.scala”中找到。 在Spark 2.0中, SparkSession 提供了 对Hive功能的内置支持 ,包括 使用Hi

    2024年02月05日
    浏览(40)
  • 大数据技术之Spark SQL——解析JSON字符串

    目录 一、数据准备 1)Department  2)School 3)Student 4)Teacher 5)实例化对象 结构如下: 二、加载数据 数据展示  三、日志数据加载 输出结果  sc.textFile读取数据源,并对结构化数据进行拆分           同样的,除了json格式字符串,我们也可以用类似的方法来加载日志数据。

    2024年02月04日
    浏览(36)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包