sqoop同步命令从mysql同步到hive

这篇具有很好参考价值的文章主要介绍了sqoop同步命令从mysql同步到hive。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

sqoop import --connect jdbc:mysql://192.168.253.142:8066/youfanshop  --username mycat --password 123456 --query 'SELECT id,name,age,address,telphone,qq,weixin,email,sex,birthday,account FROM user WHERE $CONDITIONS' --fields-terminated-by '\t'  --null-string '**'  --target-dir /user/hive/warehouse/youfanshop.db/user  --hive-table youfanshop.user  --m 1 --hive-import

sqoop import --connect jdbc:mysql://192.168.253.142:8066/youfanshop  --username mycat --password 123456 --table producttype --fields-terminated-by '\t'  --null-string '**'  --target-dir /user/hive/warehouse/youfanshop.db/producttype  --hive-table youfanshop.producttype --m 1   --hive-import

sqoop import --connect jdbc:mysql://192.168.253.142:8066/youfanshop  --username mycat --password 123456 --table productdetail --fields-terminated-by '\t'  --null-string '**'  --target-dir /user/hive/warehouse/youfanshop.db/productdetail --hive-table youfanshop.productdetail --m 1   --hive-import


sqoop import --connect jdbc:mysql://192.168.253.142:8066/youfanshop  --username mycat --password 123456 --table product --fields-terminated-by '\t'  --null-string '**'  --m 1 --target-dir /user/hive/warehouse/youfanshop.db/product --hive-table youfanshop.product   --hive-import

sqoop import --connect jdbc:mysql://192.168.253.142:8066/youfanshop  --username mycat --password 123456 --table ordermain --fields-terminated-by '\t'  --null-string '**'  --m 1 --target-dir /user/hive/warehouse/youfanshop.db/ordermain  --hive-table youfanshop.ordermain    --hive-import


sqoop import --connect jdbc:mysql://192.168.253.142:8066/youfanshop  --username mycat --password 123456 --table orderdetail --fields-terminated-by '\t'  --null-string '**'  --m 1 --target-dir /user/hive/warehouse/youfanshop.db/orderdetail --hive-table youfanshop.orderdetail    --hive-import


sqoop import --connect jdbc:mysql://192.168.253.142:8066/youfanshop  --username mycat --password 123456 --query 'SELECT id ,merchantname ,merchantshopname ,merchantaccount ,mechantscope FROM mechant WHERE $CONDITIONS' --fields-terminated-by '\t'  --null-string '**'  --m 1 --target-dir /user/hive/warehouse/youfanshop.db/mechant --hive-table youfanshop.mechant    --hive-import
 文章来源地址https://www.toymoban.com/news/detail-741563.html

到了这里,关于sqoop同步命令从mysql同步到hive的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • Sqoop将hive处理的数据导出到MySQL

    目录 部署前提 一、创建数据上传到hive中 创建学生表数据:vim stu.txt 创建课程表数据:vim course.txt 在hive中创建学生表和课程表: 上传数据到hdfs上的hive中: 二、处理hive中的数据 查询学生姓名和课程信息,创建结果表stu_result: 插入数据: 三、在mysql中创建结果表 四、将hive中处

    2024年02月03日
    浏览(44)
  • Sqoop导出hive/hdfs数据到mysql中---大数据之Apache Sqoop工作笔记006

    然后我们看看数据利用sqoop,从hdfs hbase中导出到mysql中去   看看命令可以看到上面这个   这里上面还是mysql的部分,然后看看 下面--num-mappers 这个是指定mapper数 然后下面这个export-dir这里是,指定hdfs中导出数据的目录 比如这里指定的是hive的一个表/user/hive/warehouse/sttaff_hive 然后下

    2024年02月03日
    浏览(43)
  • 使用sqoop将hive数据库导入至mysql

    前言:本文由实现此博客过程中遇到的问题及解决办法整理而成。博客:淘宝双11数据分析与预测课程案例-步骤三:将数据从Hive导入到MySQL_厦大数据库实验室 数据 数据放在 /usr/local/data/comment.csv 数据来源于:Amazon Reviews: Unlocked Mobile Phones | Kaggle 大数据开发环境 软件 版本 had

    2024年02月05日
    浏览(43)
  • [sqoop]将hive查询后的数据导入到MySQL

    一、知识点 export:将Hive的表导入到mysql叫导出 搜了很多,发现sqoop在hive导出到mysql时 1)不支持where参数对数据进行过滤。 2)不支持指定hive表的方式导出,只能指定Hive目录进行导出。 二、操作 1、在MySQL中建表 2、在hive中建表 3、将hive表导入到Mysql对应的表

    2024年02月15日
    浏览(39)
  • MySQL中的业务数据该如何正确导入到Hive中 - Sqoop

    水善利万物而不争,处众人之所恶,故几于道💦   1. 使用Sqoop脚本将MySQL中的数据迁移到HDFS   2. 在Hive中建立与之对应的表   3. 将HDFS中的数据load到 Hive 数仓的ODS层的表中 1 . 使用Sqoop 将 MySQL中的数据导入到HDFS上 使用示例: mysql_to_hdfs.sh all 2021-02-01 导出的数据用lzo压缩,并

    2024年02月11日
    浏览(46)
  • 大数据系统开发综合实验(二)Hive_MySQL_Sqoop配置

    目录 一、MySql安装配置 1.1卸载系统中的Mariadb 1.2上传并解压rpm的压缩包 1.3安装Mysql 2.1启动mysql服务 2.2修改mysql密码 2.3修改MySQL默认编码 2.4用户远程登录配置 二、Hive安装配置 1.上传解压hive安装包 2.配置hive-env.sh文件 3.配置MySQL驱动包 #注意,这里要保证三台虚拟机均已启动!!

    2024年03月25日
    浏览(40)
  • 基于Hive的天气情况大数据分析系统(通过hive进行大数据分析将分析的数据通过sqoop导入到mysql,通过Django基于mysql的数据做可视化)

    Hive介绍: Hive是建立在Hadoop之上的数据仓库基础架构,它提供了类似于SQL的语言(HQL),可以对大规模数据集进行查询和分析。通过Hive,我们可以在分布式存储系统中进行复杂的数据处理和分析。 Sqoop简介: Sqoop是一个用于在Apache Hadoop和关系型数据库之间传输数据的工具。

    2024年04月13日
    浏览(41)
  • 【Sqoop】Sqoop的使用(连接MySQL、Hive)

    使用 sqoop 前需要启动 Hadoop ,检查 Hadoop 的运行状态,我们这里使用的是伪分布式 Sqoop 连接 MySQL 需要 MySQL 的 jar 包,吧 jar 包放置 Sqoop 的 lib 目录下 先测试 Sqoop 能否连接 MySQL 查看存在的数据库 结果中的警告是因为没有配置 Hbase ,忽略即可 为了连接 HIve 我们需要将 Hive 组件

    2024年02月07日
    浏览(56)
  • 【Sqoop】MySQL表导入Hive

    用 Sqoop 将 MySQL 指定数据库指定的表导入Hive 的指定数据库

    2024年02月03日
    浏览(40)
  • 基于Hadoop的MapReduce网站日志大数据分析(含预处理MapReduce程序、hdfs、flume、sqoop、hive、mysql、hbase组件、echarts)

    需要本项目的可以私信博主!!! 本项目包含:PPT,可视化代码,项目源码,配套Hadoop环境(解压可视化),shell脚本,MapReduce代码,文档以及相关说明教程,大数据集! 本文介绍了一种基于Hadoop的网站日志大数据分析方法。本项目首先将网站日志上传到HDFS分布式文件系统

    2024年02月16日
    浏览(63)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包