导读
大家好，我是数据开发者，非常感谢大家最近的关注，你们的关注是我持续输出的动力，让我们共同提高。
大数据平台下的数据仓库搭建过程中存在许多个性化的业务需求，或者说是系统需求，无法在 Hive 提供的内置函数中找到解决办法，为了解决这个问题，我们可以使用 Hive 自定义函数满足这种个性化需求。我们本篇就使用 Hive 中的自定义函数实现几种数仓搭建过程中的需求。
Hive 有哪些自定义函数？
Hive 中存在三种类型的函数，分别是 UDF, UDAF, UDTF，这三种类型的 UDF 分别是：
UDF（user defined function)：用户自定义函数，操作单行数据，并产生单行数据，也就通常理解的单进单出，与 concat，nvl 等类似； UDAF（user defined aggregation function)：用户自定义聚合函数，操作多行数据，并产生单条数据，与常见的 sum,count 函数类似，也可以理解为多进一出； UDTF（user defined table-generating function)：用户自定义表生成函数，操作单行数据，并产生多行输出，可以理解为一进多出，类似于 Hive 内置的 explode 函数。
以上三种类型的函数对我们理解数据开发过程有很大帮助，无论是关系型数据库，还是大数据平台的数据开发，这三种类型分别代表了三种数据处理方式，可以映射到数据仓库开发过程中的 ETL 过程，为了更好的理解这三种自定义函数，我们需要使用 Java 开发自定义函数。
开发环境准备
本次代码可以通过代码包的方式发送给大家参考学习，大家可以关注公众号后发送 udf 获取代码包。
1，JDK 1.8.02，Eclipse 2022-06 (4.24.0)
2，Maven 3.8.1
3，Hive 3.1.2
除了以上软件的准备之外，我们还需要准备一张表，这张表结构如下：
| 字段名称 | 字段类型 | 业务含义 |
|---|---|---|
| id | int | 代理键 |
| name | string | 姓名 |
| order_dte | string | 订单日期 |
| formula | string | 计算公式 |
根据上面的表结构准备测试样例数据，样例数据如下所示：
create table udf_exmaple(
id int,
name string,
order_dte string,
formula string
)
comment 'udf example'
stored as parquet;
OK
Time taken: 0.405 seconds
select id,name,order_dte, formula from udf_example;
id name order_dte formula
4029 udf_test4029 2021-12-12 1*3*2000/4029
4028 udf_test4028 2021-12-11 1*3*2000/4028
4027 udf_test4027 2021-12-10 1*3*2000/4027
4026 udf_test4026 2021-12-09 1*3*2000/4026
4025 udf_test4025 2021-12-08 1*3*2000/4025
UDF 开发过程
为了能够掌握 Hive UDF 的开发， 我们设定如下需求：
-
通过 UDF 实现 eval() 公式，该函数可以完成字符串公式的计算，比如 eval(4/2) = 2.0;
1），首先通过终端控制台进入项目创建目录，通过下面的 maven archetype 创建 maven 项目，也可以通过 eclipse 创建项目向导创建 maven 项目。
mvn archetype:generate \
-DgroupId=com.data.developer \
-DartifactId=UDF \
-DpackageName=com.data.developer.udf \
-Dversion=1.0 \
-DinteractiveMode=false \
2），打开 eclipse 开发工具，并导入第一步创建的 Maven 项目；文章来源：https://www.toymoban.com/news/detail-408073.html
3），UDF 项目 POM 内容如下，其中依赖项中的 元素的作用是控制依赖元素的使用范围。通俗的将，就是控制 Jar 包在哪些范围被加载和使用。包括编译，测试，运行，并且还可以加上是否被打入包中。常见的作用域范围有： compile, test, provided, runtime, system, import。默认值是 compile，是比较强的依赖，适用于所有阶段，意味着依赖会被打包，随着项目一起发布，在编译，测试，运行都有效。我们这里对其中一个依赖包使用了编译范围，其余 Hive 相关依赖包在运行环境不需要，就使用了 provided 范围，所以运行时 provided 范围的依赖不会被打包。 文章来源地址https://www.toymoban.com/news/detail-408073.html
到了这里，关于Hive 自定义函数的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！
