Hive UDF自定义函数上线速记

这篇具有很好参考价值的文章主要介绍了Hive UDF自定义函数上线速记。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

0. 编写hive udf函数jar包

待补充

1. 永久函数上线

1.1 提交jar包至hdfs

使用命令or webui 上传jar到hdfs,命令的话格式如下

hdfs dfs -put [Linux目录] [hdfs目录]

示例:

hdfs dfs -put /home/mo/my_udf.jar /tmp
1.2 将 JAR 文件添加到 Hive 中

注意hdfs路径前面要加上hdfs://namenode,
如果是hdfs集群的话换成dfs.nameservices的值

ADD jar hdfs://namenode/user/hive/warehouse/my_udf.jar;
1.3 注册永久 UDF 函数

hdfs://namenode 和1.2步骤保持一致

CREATE FUNCTION myudf AS ‘com.example.MyUDF’ USING JAR ‘hdfs://namenode/path/to/my_udf.jar’;

hive客户端返回成功即可正常使用

SELECT myudf(column_name) FROM my_table;
1.4 其他命令

查看所有函数

  • show functions;

删除udf函数文章来源地址https://www.toymoban.com/news/detail-681709.html

  • drop function XXXX

到了这里,关于Hive UDF自定义函数上线速记的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 大数据技术之Hadoop学习(七)——Hive数据仓库

    目录 素材 一、数据仓库简介 1、数据仓库的认识 (1)数据仓库是面向主题的。 (2)数据仓库是随时间变化的。 (3)数据仓库相对稳定 (4)OLTP和OLAP 2、数据仓库的结构 (1)数据源 (2)数据存储及管理 (3)OLAP 服务器 (4)前端工具 3、数据仓库的数据模型 (1)星状模

    2024年02月17日
    浏览(33)
  • Hive UDF、UDAF和UDTF函数详解

    在 Hive 中,可以编写和使用不同类型的自定义函数,包括 UDF(User-Defined Functions)、UDAF(User-Defined Aggregate Functions)和 UDTF(User-Defined Table Functions)。这些自定义函数允许你扩展 Hive 的功能,以执行自定义的数据处理操作。 UDF(User-Defined Functions) : 用途:UDF 用于处理一行数

    2024年02月10日
    浏览(29)
  • Hive UDF

    当Hive提供的内置函数不能满足查询需求时,用户可以根据自己业务编写自定义函数(User Defined Functions, UDF), 然后在HiveQL中调用。 例如有这样一个需求:为了保护用户隐私,当查询数据的时候,需要将用户手机号的中间四位用*号代替,比如手机号18001292688需要显示为180****268

    2024年02月22日
    浏览(31)
  • Java实现Hive UDF详细步骤 (Hive 3.x版本,IDEA开发)

    老版本编写UDF时,需要继承 org.apache.hadoop.hive.ql.exec.UDF 类,然后直接实现 evaluate() 方法即可。 由于公司hive版本比较高(3.x),这次编写UDF就采用了新的版本,继承类 org.apache.hadoop.hive.ql.udf.generic.GenericUDF ,实现三个方法 1. 新建项目 打开IDEA,新建一个项目,基本配置如下,A

    2024年02月06日
    浏览(29)
  • hive的自定义函数以及自定义加密函数

    hive对于敏感数据的加密还不够完善,现在开发一个udf函数,自己设置密钥(hive的加密函数等级比较低,也没有集成自己加密的密钥函数,所以自己开发一个),如果要加密一些数据则可以自己使用特定的密钥进行加密解密,这样很好的方便数据的加密下面将实现过程如下:

    2024年02月08日
    浏览(27)
  • Hive自定义函数

        本文章主要分享单行函数UDF(一进一出) 现在前面大体总结,后边文章详细介绍 自定义函数分为临时函数与永久函数 需要创建Java项目,导入hive依赖 创建类继承  GenericUDF(自定义函数的抽象类) (实现函数) 打成jar包,传到服务器上 将jar包添加到hive的class path上临时

    2024年02月16日
    浏览(31)
  • Hive 自定义函数

    大家好,我是数据开发者,非常感谢大家最近的关注,你们的关注是我持续输出的动力,让我们共同提高。 大数据平台下的数据仓库搭建过程中存在许多个性化的业务需求,或者说是系统需求,无法在 Hive 提供的内置函数中找到解决办法,为了解决这个问题,我们可以使用

    2023年04月09日
    浏览(20)
  • hive udf 判断四边形是否为矩形

    hive udf中经常要做判断四边形是否为矩形,所以写了这个udf如下:

    2024年02月12日
    浏览(28)
  • Hive数据仓库---Hive的安装与配置

    Hive 官网地址:https://hive.apache.org/ 下载地址:http://www.apache.org/dyn/closer.cgi/hive/ 把安装文件apache-hive-3.1.2-bin.tar.gz上传到master节点的/opt/software目 录下,执行以下命令把安装文件解压到/opt/app目录中 进入/opt/app目录,为目录apache-hive-3.1.2-bin建立软件链接 即输入hive就相当于输入a

    2024年02月02日
    浏览(32)
  • hive数据仓库工具

    1、hive是一套操作数据仓库的应用工具,通过这个工具可实现mapreduce的功能 2、hive的语言是hql[hive query language] 3、官网hive.apache.org 下载hive软件包地址  Welcome! - The Apache Software Foundation https://archive.apache.org/ 4、hive在管理数据时分为元数据和真数据,其中元数据要保存在数据库中

    2024年02月04日
    浏览(25)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包