sqlserver,mysql到hive建表shell脚本

这篇具有很好参考价值的文章主要介绍了sqlserver,mysql到hive建表shell脚本。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

sqlserver,mysql到hive建表shell脚本

pom文件

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <groupId>org.example</groupId>
    <artifactId>untitled3</artifactId>
    <version>1.0-SNAPSHOT</version>

    <dependencies>
        <dependency>
            <groupId>org.apache.flume</groupId>
            <artifactId>flume-ng-core</artifactId>
            <version>1.9.0</version>
            <scope>provided</scope>
        </dependency>

        <dependency>
            <groupId>com.alibaba</groupId>
            <artifactId>fastjson</artifactId>
            <version>1.2.62</version>
        </dependency>
    </dependencies>

    <build>
        <plugins>
            <plugin>
                <artifactId>maven-compiler-plugin</artifactId>
                <version>2.3.2</version>
                <configuration>
                    <source>1.8</source>
                    <target>1.8</target>
                </configuration>
            </plugin>
            <plugin>
                <artifactId>maven-assembly-plugin</artifactId>
                <configuration>
                    <descriptorRefs>
                        <descriptorRef>jar-with-dependencies</descriptorRef>
                    </descriptorRefs>
                </configuration>
                <executions>
                    <execution>
                        <id>make-assembly</id>
                        <phase>package</phase>
                        <goals>
                            <goal>single</goal>
                        </goals>
                    </execution>
                </executions>
            </plugin>
        </plugins>
    </build>
</project>

mysql


import java.util.ArrayList;
import java.util.regex.Matcher;
import java.util.regex.Pattern;

public class mysql {

    private static String[] deleteArrayNull(String string[]) {
        ArrayList<String> strList = new ArrayList<>();

        // Loop through the input array and add non-null elements to the ArrayList
        for (String str : string) {
            if (str != null && !str.isEmpty()) {
                strList.add(str);
            }
        }

        // Convert the ArrayList back to an array of strings
        return strList.toArray(new String[0]);
    }

    public static String findColumnType(String str) {
        str = str.toLowerCase();
        String type;

        if (str.startsWith("int")) {
            type = "int";
        } else if (str.startsWith("bigint")) {
            type = "bigint";
        } else if (str.startsWith("decimal")) {
            type = "decimal"; // Assuming Hive's decimal type matches SQL's decimal type
        } else if (str.startsWith("bit")) {
            type = "int"; // Assuming mapping to INT in Hive
        } else if (str.startsWith("datetime") || str.startsWith("date") || str.startsWith("time")) {
            type = "string"; // These date-time related types mapped to STRING in Hive
        } else if (str.startsWith("float")) {
            type = "float";
        } else if (str.startsWith("double")) {
            type = "double";
        } else if (str.startsWith("boolean")) {
            type = "boolean";
        } else {
            type = "string"; // Defaulting to STRING for unmatched types
        }

        return type;
    }

    public static void main(String[] args) {

        //mysql
        String str9 = "CREATE TABLE `sys_user` (\n" +
                "  `id` varchar(32) NOT NULL COMMENT '',\n" +
                "  `username` varchar(100) DEFAULT NULL COMMENT '登录账号',\n" +
                "  `realname` varchar(100) DEFAULT NULL COMMENT '真实姓名',\n" +
                "  `password` varchar(255) DEFAULT NULL COMMENT '密码',\n" +
                "  `salt` varchar(45) DEFAULT NULL COMMENT 'md5密码盐',\n" +
                "  `avatar` varchar(255) DEFAULT NULL COMMENT '头像',\n" +
                "  `birthday` datetime DEFAULT NULL COMMENT '生日',\n" +
                "  `sex` tinyint(1) DEFAULT NULL COMMENT '性别(0-默认未知,1-男,2-女)',\n" +
                "  `email` varchar(45) DEFAULT NULL COMMENT '电子邮件',\n" +
                "  `phone` varchar(45) DEFAULT NULL COMMENT '电话',\n" +
                "  `org_code` varchar(64) DEFAULT NULL COMMENT '登录会话的机构编码',\n" +
                "  `status` tinyint(1) DEFAULT NULL COMMENT '性别(1-正常,2-冻结)',\n" +
                "  `del_flag` tinyint(1) DEFAULT NULL COMMENT '删除状态(0-正常,1-已删除)',\n" +
                "  `third_id` varchar(100) DEFAULT NULL COMMENT '第三方登录的唯一标识',\n" +
                "  `third_type` varchar(100) DEFAULT NULL COMMENT '第三方类型',\n" +
                "  `activiti_sync` tinyint(1) DEFAULT NULL COMMENT '同步工作流引擎(1-同步,0-不同步)',\n" +
                "  `work_no` varchar(100) DEFAULT NULL COMMENT '工号,唯一键',\n" +
                "  `post` varchar(100) DEFAULT NULL COMMENT '职务,关联职务表',\n" +
                "  `telephone` varchar(45) DEFAULT NULL COMMENT '座机号',\n" +
                "  `create_by` varchar(32) DEFAULT NULL COMMENT '创建人',\n" +
                "  `create_time` datetime DEFAULT NULL COMMENT '创建时间',\n" +
                "  `update_by` varchar(32) DEFAULT NULL COMMENT '更新人',\n" +
                "  `update_time` datetime DEFAULT NULL COMMENT '更新时间',\n" +
                "  `user_identity` tinyint(1) DEFAULT NULL COMMENT '身份(1普通成员 2上级)',\n" +
                "  `depart_ids` longtext COMMENT '负责部门',\n" +
                "  `rel_tenant_ids` varchar(100) DEFAULT NULL COMMENT '多租户标识',\n" +
                "  `client_id` varchar(64) DEFAULT NULL COMMENT '设备ID',\n" +
                "  PRIMARY KEY (`id`) USING BTREE,\n" +
                "  UNIQUE KEY `uniq_sys_user_work_no` (`work_no`) USING BTREE,\n" +
                "  UNIQUE KEY `uniq_sys_user_username` (`username`) USING BTREE,\n" +
                "  UNIQUE KEY `uniq_sys_user_phone` (`phone`) USING BTREE,\n" +
                "  UNIQUE KEY `uniq_sys_user_email` (`email`) USING BTREE,\n" +
                "  KEY `idx_su_username` (`username`) USING BTREE,\n" +
                "  KEY `idx_su_status` (`status`) USING BTREE,\n" +
                "  KEY `idx_su_del_flag` (`del_flag`) USING BTREE\n" +
                ") ENGINE=InnoDB DEFAULT CHARSET=utf8 ROW_FORMAT=DYNAMIC COMMENT='用户表'";

        //mysql
        String tableName = str9.split("` \\(\n")[0].split("`")[1].toLowerCase();
        String[] columnLines = str9.split("` \\(\n")[1].split("PRIMARY KEY \\(")[0].split(",\n");
        StringBuilder hiveSqlStr = new StringBuilder();



        // Begin building the Hive SQL script
        hiveSqlStr.append("drop table if exists hr_cn.ods_").append(tableName).append("_full;\n")
                .append("create external table if not exists hr_cn.ods_").append(tableName).append("_full (").append("\n");

        String tableComment = "";
        Pattern tableCommentPattern = Pattern.compile("COMMENT='([^']*)'");
        Matcher tableCommentMatcher = tableCommentPattern.matcher(str9);
        if (tableCommentMatcher.find()) {
            tableComment = tableCommentMatcher.group(1);
        }
        // Regular expression to match comments in SQL
        Pattern commentPattern = Pattern.compile("COMMENT '([^']*)'");

        for (String line : columnLines) {
            String[] column = deleteArrayNull(line.replace("\n", "").split(" "));
            if (column.length >= 2) {
                String columnName = column[0].replace("[", "").replace("]", "").replace("`","").toLowerCase();

                Matcher matcher = commentPattern.matcher(line);
                String comment = "";
                if (columnName.equals("id")) {
                    comment = "id"; // Set comment as "id" if column name is "ID"
                }
                if (matcher.find()) {
                    comment = matcher.group(1);
                }
                if (columnName.equals("id") && comment.isEmpty()) {
                    comment = "id"; // Set default comment as "id" if the column name is "id" and the comment is empty
                }
                String typeName = findColumnType(column[1]);
                hiveSqlStr.append("  ").append(columnName).append("  ").append(typeName).append(" comment '").append(comment).append("',\n");
            }
        }

        hiveSqlStr.delete(hiveSqlStr.length() - 2, hiveSqlStr.length());
        hiveSqlStr.append("\n) comment '").append(tableComment).append("'\n")
                .append("partitioned by (dt string)\n")
                .append("ROW FORMAT DELIMITED FIELDS TERMINATED BY '\\001'\nNULL DEFINED AS ''\nLOCATION '/warehouse/hr_cn/ods/ods_")
                .append(tableName).append("_full';");

        System.out.println(hiveSqlStr);
    }
}

sqlserver

**文章来源地址https://www.toymoban.com/news/detail-518682.html

import java.util.ArrayList;
import java.util.regex.Matcher;
import java.util.regex.Pattern;

public class sqlserver {

    private static String[] deleteArrayNull(String string[]) {
        ArrayList<String> strList = new ArrayList<>();

        // Loop through the input array and add non-null elements to the ArrayList
        for (String str : string) {
            if (str != null && !str.isEmpty()) {
                strList.add(str);
            }
        }

        // Convert the ArrayList back to an array of strings
        return strList.toArray(new String[0]);
    }

    public static String findColumnType(String str) {
        str = str.toLowerCase();
        String type;

        if (str.startsWith("int")) {
            type = "int";
        } else if (str.startsWith("bigint")) {
            type = "bigint";
        } else if (str.startsWith("decimal")) {
            type = "decimal"; // Assuming Hive's decimal type matches SQL's decimal type
        } else if (str.startsWith("bit")) {
            type = "int"; // Assuming mapping to INT in Hive
        } else if (str.startsWith("datetime") || str.startsWith("date") || str.startsWith("time")) {
            type = "string"; // These date-time related types mapped to STRING in Hive
        } else if (str.startsWith("float")) {
            type = "float";
        } else if (str.startsWith("double")) {
            type = "double";
        } else if (str.startsWith("boolean")) {
            type = "boolean";
        } else {
            type = "string"; // Defaulting to STRING for unmatched types
        }

        return type;
    }

    public static void main(String[] args) {

        //sql server
        String str9 = "create table [dbo].[evaluate] (\n" +
                "[id] uniqueidentifier not null ,\n" +
                "[createddate] datetime not null comment '创建日期',\n" +
                "[createdby] uniqueidentifier not null comment '创建日期',\n" +
                "[lastmodifieddate] datetime not null comment '创建日期',\n" +
                "[lastmodified]by] uniqueidentifier not null comment '创建日期',\n" +
                "[staffid] uniqueidentifier not null comment '创建日期',\n" +
                "[score] int not null,\n" +
                "[comment] nvarchar(150)\n" +
                ")";

        //sqlserver
        String tableName = str9.split("] \\(\n")[0].split("].\\[")[1].toLowerCase();
        String[] columnLines = str9.split("] \\(\n")[1].split("CONSTRAINT")[0].split(",\n");


        StringBuilder hiveSqlStr = new StringBuilder();
        int columnNum = 0;

        // Begin building the Hive SQL script
        hiveSqlStr.append("drop table if exists hr_cn.ods_").append(tableName).append("_full;\n")
                .append("create external table if not exists hr_cn.ods_").append(tableName).append("_full (").append("\n");

        // Regular expression to match comments in SQL
        Pattern commentPattern = Pattern.compile(".*?\\[([^\\]]+)\\].*?comment\\s+'([^']*)'");

        for (String line : columnLines) {
            String[] column = deleteArrayNull(line.replace("\n", "").split(" "));
            if (column.length >= 2) {
                String columnName = column[0].replace("[", "").replace("]", "").replace("`","").toLowerCase();

                Matcher matcher = commentPattern.matcher(line);
                String comment = "";
                if (columnName.equals("id")) {
                    comment = "id"; // Set comment as "id" if column name is "ID"
                }
                if (matcher.find()) {
                    comment = matcher.group(2);
                }
                if (columnName.equals("id") && comment.isEmpty()) {
                    comment = "id"; // Set default comment as "id" if the column name is "id" and the comment is empty
                }
                String typeName = findColumnType(column[1]);

                hiveSqlStr.append("  ").append(columnName).append("  ").append(typeName).append(" comment '").append(comment).append("',\n");
                columnNum++;
            }
        }

        hiveSqlStr.delete(hiveSqlStr.length() - 2, hiveSqlStr.length());
        hiveSqlStr.append("\n) comment ''\n")
                .append("partitioned by (dt string)\n")
                .append("ROW FORMAT DELIMITED FIELDS TERMINATED BY '\\001'\nNULL DEFINED AS ''\nLOCATION '/warehouse/hr_cn/ods/ods_")
                .append(tableName).append("_full';");

        System.out.println(hiveSqlStr);
    }
}

到了这里,关于sqlserver,mysql到hive建表shell脚本的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • Hive SQL:DDL建库 建表

    数据库 在Hive中,默认的数据库叫做default,存储数据位置位于HDFS:/user/hive/warehouse 用户自己创建的数据库存储位 :/user/hive/warehouse/database_name.db 创建数据库 COMMENT:数据库的注释说明语句 LOCATION:指定数据库在HDFS存储位置,默认/user/hive/warehouse/dbname.db WITH DBPROPERTIES:用于指定

    2024年02月11日
    浏览(47)
  • [shell,hive] 在shell脚本中将hiveSQL分离出去

    将Hive SQL语句写在单独的 .hql 文件中, 然后在shell脚本中调用这些文件来执行Hive查询。 这样可以将SQL语句与shell脚本分离,使代码更加清晰和易于维护。 以下是一个示例,展示如何在shell脚本中使用.hql文件执行Hive查询: 上述示例中, .hql 文件包含需要执行的Hive SQL语句,例

    2024年02月06日
    浏览(41)
  • MySQL、Oracle 常用SQL:建表、建视图、数据增删改查、常用condition

    删除表:DROP TABLE TABLE_NAME; 建表:CREATE TABLE TABLE_NAME(); 主键:PRIMARY KEY 不为空: NOT NULL 默认值:DEFAULT DEFAULT_VALUE MySQL、Oracle 通用样例: 注意:DATATYPE 是指 数据库的数据类型,需要修改成具体数据类型。 INT类型 自增:INT AUTO_INCREMENT 注释:COMMENT 参考案例: INT类型:不支持自

    2024年01月16日
    浏览(45)
  • SQL 50 题(MySQL 版,包括建库建表、插入数据等完整过程,适合复习 SQL 知识点)

    ① 本文整理了经典的 50 道 SQL 题目,文本分为 建库建表 、 插入数据 以及 SQL 50 题 这三个部分。 ② 这些题目许多博主也整理过,但本人不太了解这些题目具体的出处。第一次了解这些题目是本科期间老师出的题目。如果有网友知道这些题目的最原始出处,可以在评论评论区

    2024年02月07日
    浏览(40)
  • postgresql|数据库|批量执行SQL脚本文件的shell脚本

    对于数据库的维护而言,肯定是有SQL脚本的执行,例如,某个项目需要更新,那么,可能会有很多的SQL脚本需要执行,SQL脚本可能会包含有建表,插入数据,索引建立,约束建立,主外键建立等等内容。 那么,几个SQL脚本可能无所谓,navicat或者psql命令行 简简单单的就导入了

    2024年02月01日
    浏览(68)
  • 大数据测试-hive、doris、clickhouse、mysql、elasticsearch、kudu、postgresql、sqlserver

    大数据工作要接触很多的数据库和查询引擎 数据库 : 1、 hive :用于跑批,大批量,稳定,缺点:无update。用于数仓 2、 doris db :已更名starrocks。即时查询 可达千亿级别 文档:什么是 StarRocks @ StarRocks_intro @ StarRocks Docs 3、 clickhouse :亿级别 局限性:主表,单表支持能力强,

    2024年02月05日
    浏览(45)
  • 【SQL基础】,入门级必备,SQLserver MySQL

    1、关于SQL SQL 是用于访问和处理数据库的标准的计算机语言。 在本教程中,您将学到如何使用 SQL 访问和处理数据系统中的数据,这类数据库包括:Oracle, Sybase, SQL Server, DB2, Access 等等。 2、关于SQL数据库 结构化查询语言(Structured Query Language)简称SQL,是一种数据库查询和程序设

    2024年02月02日
    浏览(27)
  • 【Hive】HQL Array 『CRUD | 相关函数』

    语法: array基本数据类型 注意是 ,不是 () 例子: 创建表时: 字段填充时: cast(null as arraystring) as XXX 没有删除,只能覆盖 注意:数组越界会报错。 array() :创建一个数组。例如,array(1,2,3)将创建一个包含1、2、3三个元素的数组。 array_max(array) :返回数组中的最大值。例如,

    2024年02月11日
    浏览(35)
  • 【Hive】HQL Map 『CRUD | 相关函数』

    语法: map基本数据类型, 基本数据类型 注意是 ,不是 () 例子: 创建表时: 字段填充时: cast(null as mapstring, string) as XXX 没有删除,只能覆盖 只能 overwrite 覆盖 注意:如果查找不存在的键值对,会返回 null 值 map_keys(map_name) :获取该map的所有key,结果是一个Array。 map_keys(map

    2024年02月09日
    浏览(45)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包