hive的自定义函数以及自定义加密函数

这篇具有很好参考价值的文章主要介绍了hive的自定义函数以及自定义加密函数。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

hive对于敏感数据的加密还不够完善,现在开发一个udf函数,自己设置密钥(hive的加密函数等级比较低,也没有集成自己加密的密钥函数,所以自己开发一个),如果要加密一些数据则可以自己使用特定的密钥进行加密解密,这样很好的方便数据的加密下面将实现过程如下:

1,写一个Java类专门进行加密算法,这个代码网上很多都写好了,可以直接抄一个过来,代码如下:

package hive_udf;

import sun.misc.BASE64Decoder;
import sun.misc.BASE64Encoder;

import javax.crypto.*;
import javax.crypto.spec.SecretKeySpec;
import java.io.IOException;
import java.nio.charset.StandardCharsets;
import java.security.InvalidKeyException;
import java.security.NoSuchAlgorithmException;
import java.security.SecureRandom;
import java.util.Scanner;

/*
 * AES对称加密和解密
 */

public class AES {
public static final String ENCODE_RULES = "8DFC34B0B7C98EFA0A299A6C3FFFBD9D";
/*
     * 加密
     * 1.构造密钥生成器
     * 2.根据ecnodeRules规则初始化密钥生成器
     * 3.产生密钥
     * 4.创建和初始化密码器
     * 5.内容加密
     * 6.返回字符串
     */
    public static String AESEncode(String encodeRules,String content){
try {
//1.构造密钥生成器,指定为AES算法,不区分大小写
            KeyGenerator keygen=KeyGenerator.getInstance("AES");
//2.根据ecnodeRules规则初始化密钥生成器
            //生成一个128位的随机源,根据传入的字节数组
            SecureRandom random = SecureRandom.getInstance("SHA1PRNG");
random.setSeed(encodeRules.getBytes());
keygen.init(128, random);            //3.产生原始对称密钥
            SecretKey original_key=keygen.generateKey();
//4.获得原始对称密钥的字节数组
            byte [] raw=original_key.getEncoded();
//5.根据字节数组生成AES密钥
            SecretKey key=new SecretKeySpec(raw, "AES");
//6.根据指定算法AES自成密码器
            Cipher cipher=Cipher.getInstance("AES");
//7.初始化密码器,第一个参数为加密(Encrypt_mode)或者解密解密(Decrypt_mode)操作,第二个参数为使用的KEY
            cipher.init(Cipher.ENCRYPT_MODE, key);
//8.获取加密内容的字节数组(这里要设置为utf-8)不然内容中如果有中文和英文混合中文就会解密为乱码
            byte [] byte_encode=content.getBytes(StandardCharsets.UTF_8);
//9.根据密码器的初始化方式--加密:将数据加密
            byte [] byte_AES=cipher.doFinal(byte_encode);
//10.将加密后的数据转换为字符串
            //这里用Base64Encoder中会找不到包
            //解决办法:
            //在项目的Build path中先移除JRE System Library,再添加库JRE System Library,重新编译后就一切正常了。
            //11.将字符串返回
            return new BASE64Encoder().encode(byte_AES);
        } catch (NoSuchAlgorithmException | NoSuchPaddingException | InvalidKeyException | IllegalBlockSizeException | BadPaddingException e) {
            e.printStackTrace();
        }

//如果有错就返加nulll
        return null;
    }
/*
     * 解密
     * 解密过程:
     * 1.同加密1-4步
     * 2.将加密后的字符串反纺成byte[]数组
     * 3.将加密内容解密
     */
    public static String AESDncode(String encodeRules,String content){
try {
//1.构造密钥生成器,指定为AES算法,不区分大小写
            KeyGenerator keygen=KeyGenerator.getInstance("AES");
//2.根据ecnodeRules规则初始化密钥生成器
            //生成一个128位的随机源,根据传入的字节数组
            SecureRandom random = SecureRandom.getInstance("SHA1PRNG");
random.setSeed(encodeRules.getBytes());
keygen.init(128, random);
//3.产生原始对称密钥
            SecretKey original_key=keygen.generateKey();
//4.获得原始对称密钥的字节数组
            byte [] raw=original_key.getEncoded();
//5.根据字节数组生成AES密钥
            SecretKey key=new SecretKeySpec(raw, "AES");
//6.根据指定算法AES自成密码器
            Cipher cipher=Cipher.getInstance("AES");
//7.初始化密码器,第一个参数为加密(Encrypt_mode)或者解密(Decrypt_mode)操作,第二个参数为使用的KEY
            cipher.init(Cipher.DECRYPT_MODE, key);
//8.将加密并编码后的内容解码成字节数组
            byte [] byte_content= new BASE64Decoder().decodeBuffer(content);
/*
             * 解密
             */
            byte [] byte_decode=cipher.doFinal(byte_content);
return new String(byte_decode, StandardCharsets.UTF_8);
        } catch (NoSuchAlgorithmException | NoSuchPaddingException | InvalidKeyException | IOException | IllegalBlockSizeException | BadPaddingException e) {
            e.printStackTrace();
        }

//如果有错就返加nulll
        return null;
    }
public static void main(String[] args) {
Scanner scanner=new Scanner(System.in);
/*
         * 加密
         */
        System.out.println("使用AES对称加密,请输入加密的规则");
String encodeRules=scanner.next();
System.out.println("请输入要加密的内容:");
String content = scanner.next();
System.out.println("根据输入的规则"+encodeRules+"加密后的密文是:"+ AESEncode(encodeRules, content));

/*
         * 解密
         */
        System.out.println("使用AES对称解密,请输入加密的规则:(须与加密相同)");
        encodeRules=scanner.next();
System.out.println("请输入要解密的内容(密文):");
        content = scanner.next();
System.out.println("根据输入的规则"+encodeRules+"解密后的明文是:"+ AESDncode(encodeRules, content));
    }

}

2,写一个hive的udf类,集成hiveUdf,代码实现如下:

package hive_udf;

import org.apache.hadoop.hive.ql.exec.UDF;
public class AesUdf extends UDF {
    //String password = "8DFC34B0B7C98EFA0A299A6C3FFFBD9D";

    public String evaluate ( String content,String password ,String type) throws Exception {
//        if (content == null) return null;
//
//        if(! type.equals("encode") && ! type.equals("decode")){
//            throw new Exception("Parmeter one is needed encode/decode");
//        }

        if(!content.equals(null) & type.equals("jiami")){
            //进行加密
            return AES.AESEncode (password, content);
        }
        else{
            if(!content.equals(null) & type.equals("jiemi")){
                //进行解密
                return AES.AESDncode(password, content);
            }
            return content;
        }
    }


    public static void main(String[] args) {

        try {
//            System.out.println("开始加密");
//            System.out.println("没加密前原始数据为   test");
            System.out.println(new AesUdf().evaluate("test","1234abcd","jiami"));
//            System.out.println("加密后为"+new AesUdf().evaluate("test","1234abcd","jiami"));
//            String result  = new AesUdf().evaluate("test","1234abcd","jiami");
//            System.out.println("不加密也不解密,数据为"+new AesUdf().evaluate("test","1234abcd","jiami1"));
//            System.out.println("开始解密");
            System.out.println(new AesUdf().evaluate("result","1234abcd","jiemi"));
//            System.out.println("解密后的值为"+new AesUdf().evaluate(result,"1234abcd","jiemi"));
        } catch (Exception e) {
            e.printStackTrace();
        }
    }
}

上面代码可以自己手动设定密钥,自己记住就行,后面可以直接加密解密,一般不同的数据都有自己的密钥,不能共用一个密钥

3,将代码打成jar包,以及依赖关系如下

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <groupId>org.example</groupId>
    <artifactId>hive</artifactId>
    <version>1.0-SNAPSHOT</version>

    <properties>
        <maven.compiler.source>8</maven.compiler.source>
        <maven.compiler.target>8</maven.compiler.target>
    </properties>

    <dependencies>
        <dependency>
            <!-- hive的udf依赖的包 -->
            <groupId>org.apache.hive</groupId>
            <artifactId>hive-exec</artifactId>
            <version>3.1.2</version>
        </dependency>
    </dependencies>
    <!-- 打包类的依赖的jar的插件 -->
    <build>
        <plugins>
            <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-assembly-plugin</artifactId>
                <version>3.0.0</version>
                <configuration>
                    <descriptorRefs>
                        <descriptorRef>jar-with-dependencies</descriptorRef>
                    </descriptorRefs>
                </configuration>
                <executions>
                    <execution>
                        <id>make-assembly</id>
                        <phase>package</phase>
                        <goals>
                            <goal>single</goal>
                        </goals>
                    </execution>
                </executions>
            </plugin>
        </plugins>
    </build>
</project>

4,将打成的jar包上传到hdfs上,过程如下:

#一定记得,不然创建函数的时候会报警Class com.zmlearn.udf.AESUDF not found,因为没有执行权限

chmod 777 hive-1.0-SNAPSHOT.jar

hadoop fs -mkdir /hive_UDF

hadoop fs -put /root/data/hive-1.0-SNAPSHOT.jar /hive_UDF

5.进入hive客户端,创建UDF函数。

create function test.AES_UDF as 'hive_udf.AesUdf' using jar 'hdfs://namenode:9000/hive_UDF/hive-1.0-SNAPSHOT.jar';

加上库名是为了在哪个库下面生效,如果不加的话默认是default库

6.使用创建的UDF函数:

hive 加密函数,hive,hadoop,数据仓库,安全,java,Powered by 金山文档

select AES_UDF(a.name,'1234abcd','jiami') as jiam,AES_UDF(AES_UDF(a.name,'1234abcd','jiami'),'1234abcd','jiemi') as jiem,name,id from student a;

以上就是hive实现加密解密的udf函数的设计,目前我使用没问题,加密解密数据都正常,如果大家使用我上面的函数有问题,欢迎大家来找我私聊文章来源地址https://www.toymoban.com/news/detail-712465.html

到了这里,关于hive的自定义函数以及自定义加密函数的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 漫谈数据仓库之拉链表(原理、设计以及在Hive中的实现

    本文将会谈一谈在数据仓库中拉链表相关的内容,包括它的原理、设计、以及在我们大数据场景下的实现方式。 全文由下面几个部分组成: 先分享一下拉链表的用途、什么是拉链表。 通过一些小的使用场景来对拉链表做近一步的阐释,以及拉链表和常用的切片表的区别。

    2024年04月12日
    浏览(36)
  • python的自定义函数的用法和实例

    目录 1.自定义函数的语法和用法 (1)引入 (2)语法 (3)用法:用于自定义目标函数语法。 (4)调用函数 ①语法 ②解释 2.实例 (1)简单的用法 (2)与input函数、while语句结合使用 python语言调用的求和sum()、replace等函数是已经定义好的函数,而我们想要调用自己想要的函

    2024年02月08日
    浏览(48)
  • Python 程序设计入门(023)—— Python 的自定义函数

    在 Python 中,函数的应用非常广泛。比如:input()、print()、str()、range()、len() 等,这些称为 Python 的内置函数,可以直接使用。Python 支持自定义函数,即将一段有规律的、可重复使用的代码定义为函数,达到一次编写,多次使用的目的。 自定义函数使用 def 实现,语法格

    2024年02月12日
    浏览(59)
  • 【Spring Cloud】基于 Feign 实现远程调用,深入探索 Feign 的自定义配置、性能优化以及最佳实践方案

    在微服务架构中,服务之间的通信是至关重要的,而远程调用则成为实现这种通信的一种常见方式。在 Java 中,使用 RestTemplate 是一种传统的远程调用方式,但它存在一些问题,如代码可读性差、编程体验不一致以及参数复杂URL难以维护等。 在本文中,我们将探讨如何通过使

    2024年02月04日
    浏览(53)
  • 如何使用torch.nn.utils.prune稀疏神经网络,以及如何扩展它以实现自己的自定义剪裁技术

    最新的深度学习技术依赖于难以部署的过度参数化模型。 相反,已知生物神经网络使用有效的稀疏连通性。 为了减少内存,电池和硬件消耗,同时又不牺牲精度,在设备上部署轻量级模型并通过私有设备上计算来确保私密性,确定通过减少模型中的参数数量来压缩模型的最

    2024年02月12日
    浏览(43)
  • 基于 YOLOv8 的自定义数据集训练

    图1.1:YOLOv8初始测试 YOLOv8🔥于 2023年1月10日由Ultralytics发布。它在计算机视觉方面提供了进展,带来了对我们感知、分析和理解视觉世界的巨大创新。它将为各个领域带来前所未有的可能性。 在速度、准确性和架构方面进行了相当大的改进。它是从头开始实现的,没有使用任

    2024年02月11日
    浏览(50)
  • 使用ETLCloud强大的自定义规则实现自定义数据处理算法

    实时数据处理规则有什么作用 ? 在大数据中的实时数据采集、ETL批量数据传输过程中很多数据处理过程以及数据质量都希望实时进行处理和检测并把不符合要求的脏数据过滤掉或者进行实时的数据质量告警等。 在数据仓库建设过程中,每家企业的数据处理过程中肯定会有一

    2024年02月08日
    浏览(49)
  • Hive 自定义函数

    大家好,我是数据开发者,非常感谢大家最近的关注,你们的关注是我持续输出的动力,让我们共同提高。 大数据平台下的数据仓库搭建过程中存在许多个性化的业务需求,或者说是系统需求,无法在 Hive 提供的内置函数中找到解决办法,为了解决这个问题,我们可以使用

    2023年04月09日
    浏览(31)
  • Hive自定义函数

        本文章主要分享单行函数UDF(一进一出) 现在前面大体总结,后边文章详细介绍 自定义函数分为临时函数与永久函数 需要创建Java项目,导入hive依赖 创建类继承  GenericUDF(自定义函数的抽象类) (实现函数) 打成jar包,传到服务器上 将jar包添加到hive的class path上临时

    2024年02月16日
    浏览(39)
  • 【算法与数据结构】3 知行合一,线性查找的自定义类测试

    欢迎来到爱书不爱输的程序猿的博客, 本博客致力于知识分享,与更多的人进行学习交流 本文收录于算法与数据结构体系专栏, 本专栏 对于0基础者极为友好,欢迎与我一起完成算法与数据结构的从0到1的跨越 ☑️首篇详细讲述线性查找法并且对其进行了 初步的优化 :👉传送门

    2023年04月27日
    浏览(47)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包