教你使用Sqoop一次性将mysql中的十张表导入到hive中

这篇具有很好参考价值的文章主要介绍了教你使用Sqoop一次性将mysql中的十张表导入到hive中。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

​🏠​ 个人主页:csdn春和
​🛰​ 推荐专栏:更多专栏尽在主页!
 JavaWeb专栏(从入门到实战超详细!!!)
 SSM专栏 (更新中)
​📖​ 本期文章:Sqoop一次性将mysql中的十张表同步到hive中
如果对您有帮助还请三连支持,定会一 一回访!


前言:这是一篇实验随记文章,记录笔者学习过程中做的一些实验。第八次作业:将mysql中的十张表导入到大数据平台hive中

1、实验需求

一次性将mysql中的十张表导入到hive中

2、实验步骤

0、实验前提

启动hadoop集群并且开启hive服务 hive2后面需要使用到

1、在mysql中准备十张表

教你使用Sqoop一次性将mysql中的十张表导入到hive中

2、编写shell脚本一次性导入十张表

#! bin/bash
for ((i=0;i<10;i++))
do
 bin/sqoop import --connect jdbc:mysql://hadoop02:3306/study --username root --password 123456 --table t$i --num-mappers 1 --hive-import --fields-terminated-by "\t" --hive-overwrite --hive-table t${i}_hive
 echo "import t$i successfully!"
done

教你使用Sqoop一次性将mysql中的十张表导入到hive中

就这样简单的shell脚本编写完成,笔者shell脚本的知识遗忘的厉害,如果您有更好的做法强烈建议您私信我!!!

3、修改脚本执行权限

chmod +x t.sh

教你使用Sqoop一次性将mysql中的十张表导入到hive中

4、执行脚本

执行t.sh脚本,等待执行完成

在此之间会有很多日志打印我们挑选一些来看

教你使用Sqoop一次性将mysql中的十张表导入到hive中

教你使用Sqoop一次性将mysql中的十张表导入到hive中

教你使用Sqoop一次性将mysql中的十张表导入到hive中

5、查看实验结果

查看hdfs

教你使用Sqoop一次性将mysql中的十张表导入到hive中

查看hive shell

教你使用Sqoop一次性将mysql中的十张表导入到hive中

查询数据试试

教你使用Sqoop一次性将mysql中的十张表导入到hive中

到此数据从mysql表中导入到hive完成,在这里面也有许多可以优化的地方,比如循环执行怎样提高执行的效率等!这里我们先不做深究…文章来源地址https://www.toymoban.com/news/detail-413633.html

到了这里,关于教你使用Sqoop一次性将mysql中的十张表导入到hive中的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包赞助服务器费用

相关文章

  • MySQL 索引常见问题汇总,一次性梳理

    MySQL 索引常见问题汇总,一次性梳理

    hello,大家好,我是张张,「架构精进之路」公号作者。   提到MySQL查询分析,就会涉及到索引相关知识,要想学好MySQL,索引是重要且不得不啃下的一环,今天就把MySQL索引常见问题进行汇总,一次性梳理清楚。 文章目录: 索引 什么是索引? 索引的优缺点? 索引的作用?

    2024年02月07日
    浏览(38)
  • DBeaver一次性执行mysql多条sql

    DBeaver一次性执行mysql多条sql

    最新开始弃用Navicat,改用dbeaver,DBeaver需要Java语言支持,所以安装之前需要配置JDK环境; 再使用DBeaver执行多个SQL语句时(语句已使用;分隔)报错: 一、选中多条sql语句后,使用快捷键:alt+x 执行,即可; 二、在DBeaver的 连接设置中 驱动属性 中 allowMultiQueries 从 默认的fal

    2024年02月11日
    浏览(119)
  • 使用python脚本生成datax-json脚本(一次性操作多张表),并使用datax将业务数据从mysql采集到hdfs

    废话不多说,上代码(因为这个代码是从别的地方复制后修改的,有许多冗余的地方,但是不影响运行--从mysql将数据导入到hdfs):  接下来是通过shell脚本,使用datax将数据从mysql 采集到hdfs (下面是一个离线数仓项目的demo): 当然我们也可以使用sqoop,shell脚本如下:   业务数

    2024年02月15日
    浏览(39)
  • 【已解决】MySQL(Navicat)中如何一次性执行多个sql脚本文件

    【已解决】MySQL(Navicat)中如何一次性执行多个sql脚本文件

    目录 问题现象: 问题分析: 思路: 解决方法:         1、运行cmd命令窗口         2、执行文本文件内容合并命令 总结:         1、使用文本文件内容合并命令,将多个sql脚本文件的内容合并到一个新的sql文件中去。         2、然后在Navicat中打开对应数据库,运行

    2024年03月20日
    浏览(230)
  • Linux|奇怪的知识|一次性任务at命令的使用

    at命令是Linux的一个专有命令,该命令是旧的计划任务atd服务的客户端命令(at命令是c/s形式的软件套件里的client,客户端),主要的用处就是灵活制定一个工作计划,特定时间自动完成你所设定的任务。 好了,那么可能有老铁会说,这个at命令和crontab好像功能是重叠的,为什

    2024年02月06日
    浏览(7)
  • Visual Studio 2022 中使用scanf报错的解决方法(一次性解决)

    Visual Studio 2022 中使用scanf报错的解决方法(一次性解决)

    🎬 鸽芷咕 :个人主页  🔥 个人专栏 :《C语言初阶篇》 《C语言进阶篇》 ⛺️生活的理想,就是为了理想的生活!    🌈 hello! 各位宝子们大家好啊,前面一章给大家介绍了Visual Studio 2022 的安装和使用!    ⛳️ 但是 Visual Studio 2022 并不是按照标准的C语言标准,所以使

    2024年02月16日
    浏览(44)
  • 使用Python将图像转换为PDF:一次性解决您的批量转换需求

    使用Python将图像转换为PDF:一次性解决您的批量转换需求

    导语: 在数字化时代,我们经常需要处理大量的图像文件。将这些图像转换为PDF格式可以方便地存档、分享和打印。本文将介绍如何使用Python编程语言将图像批量转换为PDF,并提供了一个简单易用的图形界面来跟踪转换进度。 在开始之前,请确保您已经安装了以下库: PyM

    2024年02月14日
    浏览(40)
  • 微信小程序使用webview后点击左上角返回按钮一次性返回小程序

    当我们来到webview标签对应的网页地址的时候,在该页面内进行几次跳转后,发现点击小程序左上角返回按钮返回的是上一次跳转的内容,并没有达到我们返回小程序的需求,而是要一直点,然后才能返回小程序。 我的情况是webview标签放在一个单独的页面下宽高100%占比显示,

    2024年02月05日
    浏览(19)
  • [python]使用pyqt5搭建yolov8 竹签计数一次性筷子计数系统

    [python]使用pyqt5搭建yolov8 竹签计数一次性筷子计数系统

    【官方框架地址】 github地址:https://github.com/ultralytics/ultralytics 【算法介绍】 Yolov8是一种先进的深度学习算法,用于目标检测任务,特别是针对图像中物体的实时检测。它是Yolov3和Yolov4之后的又一重要迭代,带来了诸多改进和新特性。本文将详细介绍Yolov8算法的原理、特点、

    2024年04月10日
    浏览(44)
  • 公众号一次性订阅消息

    公众号一次性订阅消息

    洛塔服务号回复007获取代码。 之前发布通知,要用订阅通知替代一次性订阅消息,不知道是被骂的太惨还是技术原因,一次性订阅消息还是一直能用。 和模板消息不同的是,一次性订阅消息无需用户关注公众号,但是必须用户点击同意发送才能接收消息。 模板消息:需要关

    2024年02月09日
    浏览(39)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包