1. Toy模板网首页
  2. > Toy博客

大数据系统开发综合实验（二）Hive_MySQL_Sqoop配置

8月前 作者：揽风441 分类：Toy博客 阅读(38) 违法举报

这篇具有很好参考价值的文章主要介绍了大数据系统开发综合实验（二）Hive_MySQL_Sqoop配置。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

目录

一、MySql安装配置

1.1卸载系统中的Mariadb

1.2上传并解压rpm的压缩包

1.3安装Mysql

2.1启动mysql服务

2.2修改mysql密码

2.3修改MySQL默认编码

2.4用户远程登录配置

二、Hive安装配置

1.上传解压hive安装包

2.配置hive-env.sh文件

3.配置MySQL驱动包

#注意，这里要保证三台虚拟机均已启动！！！

三、Sqoop安装配置

1. 上传Sqoop，并解压

2. 重命名文件夹名

3. 进入目录，配置Sqoop

4. 配置系统环境变量

5. 连接Mysql，验证Sqoop安装结果

#注意，该步骤下hadoop必须启动

本文内容在Hadoop01中操作，不对Hadoop02,Hadoop03操作！！！

一、MySql安装配置

1.1卸载系统中的Mariadb

yum remove mysql-libs

大数据开发实践 sqoop + hive,hive,mysql,sqoop

1.2上传并解压rpm的压缩包

cd /export/software

mkdir mysql_rpm

tar -xvf mysql-5.7.25-1.el7.x86_64.rpm-bundle.tar -C /export/software/mysql_rpm/

大数据开发实践 sqoop + hive,hive,mysql,sqoop

大数据开发实践 sqoop + hive,hive,mysql,sqoop

1.3安装Mysql

# 注意：因逐层建存在依赖，安装顺序不要随意变

cd mysql_rpm

rpm -ivh mysql-community-common-5.7.25-1.el7.x86_64.rpm

rpm -ivh mysql-community-libs-5.7.25-1.el7.x86_64.rpm

rpm -ivh mysql-community-libs-compat-5.7.25-1.el7.x86_64.rpm

rpm -ivh mysql-community-client-5.7.25-1.el7.x86_64.rpm

rpm -ivh mysql-community-server-5.7.25-1.el7.x86_64.rpm

rpm -ivh mysql-community-devel-5.7.25-1.el7.x86_64.rpm

大数据开发实践 sqoop + hive,hive,mysql,sqoop

# 删除安装包后，查看是否安装成功

cd /export/software

rm -rf mysql_rpm/* && rpm -qa|grep -i mysql

大数据开发实践 sqoop + hive,hive,mysql,sqoop

2.1启动mysql服务

#1.临时启动mysql服务

systemctl start mysqld

#2.开机启动mysql服务

systemctl enable mysqld

#3.查看MySQL的启动状态

systemctl status mysqld

#4.查看mysql进程是否正常开启

ps -le | grep mysqld

netstat -ntlp | grep mysqld

大数据开发实践 sqoop + hive,hive,mysql,sqoop

2.2修改mysql密码

mysql安装完成之后，在/var/log/mysqld.log文件中给root生成了一个默认密码。通过以下命令找到密码，并复制：

grep 'temporary password' /var/log/mysqld.log

大数据开发实践 sqoop + hive,hive,mysql,sqoop

# 修改密码策略

生产环境为了安全考虑，不要改密码策略！！！

实验环境为了方便记mysql密码，可选择下面的方案：

vim /etc/my.cnf

在配置文件中添加下面的内容：

validate_password=off

大数据开发实践 sqoop + hive,hive,mysql,sqoop

# 重新启动mysql服务使配置生效：

systemctl restart mysqld

#登陆mysql

mysql -u root -p

输入刚才复制的密码，登陆成功

修改root用户密码为:123456

set password for 'root'@'localhost'=password('123456');

大数据开发实践 sqoop + hive,hive,mysql,sqoop

# MySQL默认配置文件路径：

配置文件： /etc/my.cnf

日志文件： /var/log//var/log/mysqld.log

服务启动脚本： /usr/lib/systemd/system/mysqld.service

socket文件： /var/run/mysqld/mysqld.pid

2.3修改MySQL默认编码

# 编辑 配置文件

vim /etc/my.cnf

# 添加如下配置：

skip_ssl

character_set_server=utf8

init_connect='SET NAMES utf8'

大数据开发实践 sqoop + hive,hive,mysql,sqoop

# 重启MySQL服务

systemctl restart mysqld

# 登陆mysql

mysql -uroot -p123456

查看MySQL默认编码确认是否修改成功：

show variables like 'char%';

查看排序规则

show variables like 'collation%';

大数据开发实践 sqoop + hive,hive,mysql,sqoop

2.4用户远程登录配置

mysql默认只允许root帐户在本地登录，想要远程连接mysql，必须开启root用户允许远程连接，或者添加一个允许远程连接的帐户。

开启root用户远程连接（任意IP都可以访问）

GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY '123456' WITH GRANT OPTION;
FLUSH PRIVILEGES;

大数据开发实践 sqoop + hive,hive,mysql,sqoop

二、Hive安装配置

1.上传解压hive安装包

cd /export/software

tar -zxvf /export/software/apache-hive-1.2.1-bin.tar.gz -C /export/servers/

2.配置hive-env.sh文件

#打开配置文件目录，复制文件

cd /export/servers/apache-hive-1.2.1-bin/conf

cp hive-env.sh.template hive-env.sh

# 打开配置文件

vim hive-env.sh

# 添加Hadoop环境变量

export HADOOP_HOME=/export/servers/hadoop-2.7.4

大数据开发实践 sqoop + hive,hive,mysql,sqoop

#修改hive-site.xml配置文件

vim hive-site.xml

#加入一下信息

<configuration>

    <property>

    <name>javax.jdo.option.ConnectionURL</name>

        <value>jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true</value>

        <description>Mysql连接协议</description>

    </property>

    <property>

        <name>javax.jdo.option.ConnectionDriverName</name>

        <value>com.mysql.jdbc.Driver</value>

        <description>JDBC连接驱动</description>

    </property>

    <property>

        <name>javax.jdo.option.ConnectionUserName</name>

        <value>root</value>

        <description>用户名</description>

    </property>

    <property>

        <name>javax.jdo.option.ConnectionPassword</name>

        <value>123456</value>

        <description>密码</description>

    </property>

</configuration>

大数据开发实践 sqoop + hive,hive,mysql,sqoop

3.配置MySQL驱动包

#上传MySQL连接驱动包mysql-connector-java-5.1.32.jar到/export/software

cp /export/software/mysql-connector-java-5.1.32.jar /export/servers/apache-hive-1.2.1-bin/lib/

大数据开发实践 sqoop + hive,hive,mysql,sqoop

4.配置系统变量，为了便于启动hive

vi /etc/profile

#加入以下内容

export HIVE_HOME=/export/servers/apache-hive-1.2.1-bin

export PATH=$PATH:$HIVE_HOME/bin

大数据开发实践 sqoop + hive,hive,mysql,sqoop

#刷新系统环境变量

source /etc/profile

#注意，这里要保证三台虚拟机均已启动！！！

#启动hadoop（必须启动hadoop，才能启动Hive)

start-dfs.sh &&start-yarn.sh

#启动hive

hive

大数据开发实践 sqoop + hive,hive,mysql,sqoop

三、Sqoop安装配置

1. 上传Sqoop，并解压

cd /export/software/

tar -zxvf /export/software/sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz -C /export/servers/

2. 重命名文件夹名

cd /export/servers/

mv sqoop-1.4.6.bin__hadoop-2.0.4-alpha/ sqoop-1.4.6/

大数据开发实践 sqoop + hive,hive,mysql,sqoop

3. 进入目录，配置Sqoop

cd /export/servers/sqoop-1.4.6/conf/

cp sqoop-env-template.sh sqoop-env.sh

#打开sqoop-env.sh

vim sqoop-env.sh

#添加如下信息

export HADOOP_COMMON_HOME=/export/servers/hadoop-2.7.4

export HADOOP_MAPRED_HOME=/export/servers/hadoop-2.7.4

export HIVE_HOME=/export/servers/apache-hive-1.2.1-bin

大数据开发实践 sqoop + hive,hive,mysql,sqoop

4. 配置系统环境变量

vi /etc/profile

#添加信息：

export SQOOP_HOME=/export/servers/sqoop-1.4.6

export PATH=$PATH:$SQOOP_HOME/bin

大数据开发实践 sqoop + hive,hive,mysql,sqoop

#刷新系统环境变量

source /etc/profile

#配置MySQL驱动包

cp /export/software/mysql-connector-java-5.1.32.jar /export/servers/sqoop-1.4.6/lib

5. 连接Mysql，验证Sqoop安装结果

#注意，该步骤下hadoop必须启动

# 输入命令：

jps

#如果只显示jps，则表示未启动，如果显示下图，则表示hadoop已经启动，忽略下方启动步骤

大数据开发实践 sqoop + hive,hive,mysql,sqoop

#使用启动命令启动hadoop+hive：

start-dfs.sh && start-yarn.sh && hive

大数据开发实践 sqoop + hive,hive,mysql,sqoop

 #上方命令运行后会进入hive，需要手动退出hive

exit;

#查看是否存在5个进程，存在即为启动成功

jps

大数据开发实践 sqoop + hive,hive,mysql,sqoop

#确认hadoop运行后，输入下方命令验证

sqoop list-databases -connect jdbc:mysql://localhost:3306/  --username root --password 123456

大数据开发实践 sqoop + hive,hive,mysql,sqoop文章来源地址https://www.toymoban.com/news/detail-843228.html

到了这里，关于大数据系统开发综合实验（二）Hive_MySQL_Sqoop配置的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处： 如若内容造成侵权/违法违规/事实不符，请点击违法举报进行投诉反馈，一经查实，立即删除！

分享到：
领支付宝红包 赞助服务器费用

相关文章

  • 基于Hive的天气情况大数据分析系统（通过hive进行大数据分析将分析的数据通过sqoop导入到mysql，通过Django基于mysql的数据做可视化）

    基于Hive的天气情况大数据分析系统（通过hive进行大数据分析将分析的数据通过sqoop导入到mysql，通过Django基于mysql的数据做可视化）

    Hive介绍： Hive是建立在Hadoop之上的数据仓库基础架构，它提供了类似于SQL的语言（HQL），可以对大规模数据集进行查询和分析。通过Hive，我们可以在分布式存储系统中进行复杂的数据处理和分析。 Sqoop简介： Sqoop是一个用于在Apache Hadoop和关系型数据库之间传输数据的工具。

    2024年04月13日
    浏览(41)

  • 大数据框架之Hive： 第7章 综合案例练习（初级）

    （1）创建/opt/module/data目录 （2）将如下4个文件放到/opt/module/data目录下 （3）数据样式说明 （1）插入数据 （2）验证插入数据情况 2.1.1 查询姓名中带“冰”的学生名单 code 结果 2.1.2 查询姓“王”老师的个数 code 结果 2.1.3 检索课程编号为“04”且分数小于60的学生的课程信息，

    2024年02月12日
    浏览(39)
  • Clion开发STM32之W5500系列(综合实验)

    Clion开发STM32之W5500系列(综合实验)

    此为w5500模块的综合实验测试模块,包含dhcp、dns、ntp 以上三个模块的驱动参考之前的文章，本篇不做说明. 使用的开发芯片 stm32f103vet6系列,外设接口使用的spi2 通过dhcp动态获取ip, 通过dns解析NTP服务域名的ip 通过NTP服务ip获取时间

    2024年02月16日
    浏览(39)
  • ubuntu-server部署hive-part3-安装mysql，最新大数据开发架构师成长路线

    ubuntu-server部署hive-part3-安装mysql，最新大数据开发架构师成长路线

    不再报类似上方的错误，以mysql用户执行mysql命令，报错如下，说明可以继续安装。 初始化 以mysql用户执行如下命令： mysqld --user=mysql --basedir=/usr/local/mysql/ --datadir=/usr/local/mysql/data --initialize 说明： –user：以操作系统mysql用户的身份初始化数据库，产生文件mysql是拥有者 –ba

    2024年04月15日
    浏览(53)
  • 数据库系统原理及MySQL应用教程实验四MySQL数据库表数据的查询操作

    数据库系统原理及MySQL应用教程实验四MySQL数据库表数据的查询操作

    1．掌握SELECT 语句的基本语法格式。 2．掌握SELECT 语句的执行方法。 3．掌握SELECT 语句的 GROUP BY 和 ORDER BY 子句的作用。 验证性实验：在公司的部门员工管理数据库的bumen表和yuangong表上进行信息查询。 设计性试验：将在student表和score表上进行查询。 （ 一 ） 验证性实验 在

    2024年02月05日
    浏览(54)
  • 【Linux操作系统】【综合实验三 用户帐号、文件系统与系统安全管理】

    【Linux操作系统】【综合实验三 用户帐号、文件系统与系统安全管理】

    要求掌握Linux系统用户的创建、删除与管理操作；熟悉Linux文件系统的管理模式，学会创建用户文件系统并装载和卸载文件系统；掌握超级用户的管理方式与权限，并实施对普通用户的管理；熟悉Linux系统安全机制与相关管理方法。 通过这个第三阶段实验，要求掌握以下操作与

    2023年04月14日
    浏览(35)
  • javaweb实验：Java Web综合应用开发__基于MVC模式

    javaweb实验：Java Web综合应用开发__基于MVC模式

    本实验的目的是让学生掌握Java Web开发的基本原理和方法，以及MVC设计模式的应用。MVC是一种将程序分为三个部分的设计模式，即模型（Model）、视图（View）和控制器（Controller）。模型负责封装数据和业务逻辑，视图负责展示用户界面，控制器负责接收用户请求并调用模型和

    2024年02月06日
    浏览(49)
  • 网络系统集成综合实验（六）| 访问控制列表ACL配置

    网络系统集成综合实验（六）| 访问控制列表ACL配置

    目录 一、前言 二、实验目的 三、实验需求 四、实验步骤与现象 （一）基本ACL实验 Step1：构建拓扑图如下： Step2：PC的IP地址分别配置如下： Step3：路由器的IP地址配置如下 Step4：配置缺省路由使得各路由器可以通信 通信效果验证： Step5：ACL配置 效果验证： （二）高级ACL实

    2023年04月10日
    浏览(38)
  • MySQL数据库设计作业 ——《网上书店系统》数据库设计实验报告

    MySQL数据库设计作业 ——《网上书店系统》数据库设计实验报告

    普通用户：可以进行最基础的登陆操作，可浏览图书、按类别查询图书、查看 图书的详细信息，还可以注册成为会员。 会员：需要填写详细信息（真实姓名、性别、手机号、地址、邮箱等），可浏览图书、按类别查询图书、查看图书的详细信息，在此基础上，还可以订购图

    2024年02月04日
    浏览(72)
  • 【Linux操作系统】【综合实验三 用户帐号、文件系统与系统安全管理】【未整理】

    【Linux操作系统】【综合实验三 用户帐号、文件系统与系统安全管理】【未整理】

    要求掌握Linux系统用户的创建、删除与管理操作；熟悉Linux文件系统的管理模式，学会创建用户文件系统并装载和卸载文件系统；掌握超级用户的管理方式与权限，并实施对普通用户的管理；熟悉Linux系统安全机制与相关管理方法。 通过这个第三阶段实验，要求掌握以下操作与

    2024年02月06日
    浏览(43)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包，优惠每天领

二维码1

领取红包

二维码2

领红包