华为云耀云服务器L实例-大数据学习-Hive的部署-2

这篇具有很好参考价值的文章主要介绍了华为云耀云服务器L实例-大数据学习-Hive的部署-2。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

华为云耀云服务器L实例--Hive的部署-2

华为云耀云服务器L实例-大数据学习-Hive的部署-2,大数据,华为云,服务器

产品官网:云耀云服务器L实例 _【最新】_轻量云服务器_轻量服务器_轻量应用服务器-华为云

华为云耀云服务器L实例-大数据学习-Hive的部署-2,大数据,华为云,服务器

今天我们采用可靠更安全、智能不卡顿、价优随心用、上手更简单、管理特省心华为云耀云服务器L实例为例,继续Hive的部署

Hive 是建立在 Hadoop 上的一个数据仓库和查询系统。它提供了类似 SQL 的查询语言(称为 HiveQL)来查询和分析存储在 Hadoop 分布式文件系统(HDFS)中的大规模数据。Hive 的设计目标是使非技术用户能够通过类似于 SQL 的语言来查询和分析大规模数据集,而无需深入了解复杂的编程模型。

以下是 Hive 的一些主要特点和概念:

1. HiveQL语言: Hive 提供了 Hive 查询语言(HiveQL),这是一种类似于 SQL 的语言,允许用户执行查询、过滤和聚合等操作。HiveQL查询会被转化为一系列的 MapReduce 作业,从而在底层利用 Hadoop 进行分布式计算。

2. 元数据存储: Hive 使用元数据存储来存储表模式和统计信息。默认情况下,它使用嵌入式的 Derby 数据库,但也可以配置为使用其他数据库,如 MySQL 或 PostgreSQL。

3. 表和分区: Hive中的数据组织为表,表可以分为分区以提高查询性能。分区允许根据表中的某些列将数据划分为更小的部分,以便更有效地执行查询。

4. UDF(用户定义函数): Hive 支持用户定义的函数,这允许用户编写自定义的处理逻辑,并将其嵌入到 HiveQL 查询中。

5. 可扩展性: Hive 可以与 Hadoop 生态系统中的其他工具集成,包括 HBase、Spark、Tez 等,以便更灵活地处理不同类型的数据和查询。

6. 批处理: Hive 通常用于大规模批处理,适用于处理大量的静态数据。对于需要实时性能的场景,可能需要考虑其他工具,如 Apache Spark。

Hive 的使用场景主要涉及数据仓库和数据分析,特别是当数据规模很大,而且对实时性能没有过高要求时。通过使用 HiveQL,用户可以利用 SQL 风格的查询语言来分析和挖掘庞大的分布式数据集。

以下是在华为云耀云服务器L实例配置Hive的步骤。

(1) 配置 Hadoop

Hive 的运行依赖于 Hadoop ( HDFS 、 MapReduce 、 YARN 都依赖)

同时涉及到 HDFS 文件系统的访问,所以需要配置 Hadoop 的代理用户

即设置 hadoop 用户允许代理(模拟)其它用户

配置如下内容在 Hadoop 的 core-site.xml 中,重启 HDFS 集群

华为云耀云服务器L实例-大数据学习-Hive的部署-2,大数据,华为云,服务器

(2)  下载解压 Hive

• 切换到 hadoop 用户

su - hadoop

• 下载 Hive 安装包:

http://archive.apache.org/dist/hive/hive-3.1.3/apache-hive-3.1.3-bin.tar.gz

• 解压到 node1 服务器的: /export/server/ 内

tar -zxvf apache-hive-3.1.3-bin.tar.gz -C /export/server/

• 设置软连接

ln -s /export/server/apache-hive-3.1.3-bin /export/server/hive

华为云耀云服务器L实例-大数据学习-Hive的部署-2,大数据,华为云,服务器

(3) 提供 MySQL Driver 包

• 下载 MySQL 驱动包:

https://repo1.maven.org/maven2/mysql/mysql-connector-java/5.1.34/mysql-connector-java-

5.1.34.jar

• 将下载好的驱动 jar 包,放入: Hive 安装文件夹的 lib 目录内

mv mysql-connector-java-5.1.34.jar /export/server/hive/lib/

华为云耀云服务器L实例-大数据学习-Hive的部署-2,大数据,华为云,服务器

(4) 配置 Hive

• 在 Hive 的 conf 目录内,新建 hive-site.xml 文件,填入以下内容

华为云耀云服务器L实例-大数据学习-Hive的部署-2,大数据,华为云,服务器

华为云耀云服务器L实例-大数据学习-Hive的部署-2,大数据,华为云,服务器

(5)初始化元数据库

至此, Hive 的配置已经完成,现在在启动 Hive 前,需要先初始化 Hive 所需的元数据库。

• 在 MySQL 中新建数据库: hive

CREATE DATABASE hive CHARSET UTF8;

• 执行元数据库初始化命令:

cd /export/server/hive

bin/schematool -initSchema -dbType mysql -verbos

华为云耀云服务器L实例-大数据学习-Hive的部署-2,大数据,华为云,服务器

华为云耀云服务器L实例-大数据学习-Hive的部署-2,大数据,华为云,服务器

(6)启动 Hive (使用 Hadoop 用户)

• 确保 Hive 文件夹所属为 hadoop 用户

• 创建一个 hive 的日志文件夹:

mkdir /export/server/hive/logs

• 启动元数据管理服务(必须启动,否则无法工作)

前台启动: bin/hive --service metastore

后台启动: nohup bin/hive --service metastore >> logs/metastore.log 2>&1 &

• 启动客户端,二选一(当前先选择 Hive Shell 方式)

Hive Shell 方式(可以直接写 SQL ): bin/hive

Hive ThriftServer 方式(不可直接写 SQL ,需要外部客户端链接使用): bin/hive --service hiveserver2

华为云耀云服务器L实例-大数据学习-Hive的部署-2,大数据,华为云,服务器

至此,我们已经成功在华为云耀云服务器L实例部署并启动了单台服务器上的hive服务。文章来源地址https://www.toymoban.com/news/detail-774011.html

到了这里,关于华为云耀云服务器L实例-大数据学习-Hive的部署-2的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 华为云云服务器评测 | 从零开始:云耀云服务器L实例的全面使用解析指南

    本文收录在专栏:#云计算入门与实践 - 华为云 专栏中,本系列博文还在更新中 相关华为云云耀云服务器L实例评测文章列表如下: 华为云云耀云服务器L实例评测 | 从零开始:云耀云服务器L实例的全面使用解析指南 华为云云耀云服务器L实例评测|轻量级应用服务器对决:基

    2024年02月10日
    浏览(67)
  • 华为云云耀云服务器L实例评测|使用华为云耀云服务器L实例的CentOS部署Docker并运行Tomcat应用

    目录 前言 步骤1:登录到华为云耀云服务器L实例 步骤2:安装Docker 并验证Docker安装 步骤3:拉取Tomcat镜像并运行Tomcat容器 步骤4:放行8080端口 步骤5:访问tomcat 步骤6:管理Tomcat容器 小结 在云计算领域,Docker已经成为了最流行的容器化平台之一。它能够帮助您更加高效地部署

    2024年02月07日
    浏览(63)
  • 华为云云耀云服务器L实例评测 | 从零开始:云耀云服务器L实例的全面使用解析指南

    本文收录在专栏:#云计算入门与实践 - 华为云 专栏中,本系列博文还在更新中 相关华为云云耀云服务器L实例评测文章列表如下: 华为云云耀云服务器L实例评测 | 从零开始:云耀云服务器L实例的全面使用解析指南 华为云云耀云服务器L实例评测|轻量级应用服务器对决:基

    2024年02月09日
    浏览(60)
  • 探索未来云计算,华为云耀云服务器L实例引领行业新动力

    在当今科技领域,云计算无疑是中小企业和开发者创新的关键平台。然而,选择适合自己的云计算基础设施产品却是一个复杂而重要的决策。华为云在这个领域掀起了一场革命,推出了一款轻量应用服务器——华为云耀云服务器L实例(以下简称:云耀L实例),为中小企业和

    2024年02月04日
    浏览(51)
  • [linux实战] 华为云耀云服务器L实例 Java、node环境配置

    本文介绍了在华为云耀云服务器L实例上配置Java和Node环境的步骤,包括修改密码、配置安全规则、远程登录、安装JDK、安装Git、安装Maven以及安装Node和Npm。 关键词:华为云耀云服务器L实例,Java环境配置,Node环境配置,安装JDK,安装Git,安装Maven,安装Node,安装Npm

    2024年02月10日
    浏览(171)
  • 华为云云服务器云耀L实例评测 | 智能不卡顿:如何实现流畅的业务运行

    🌷🍁 博主猫头虎(🐅🐾)带您 Go to New World✨🍁 🦄 博客首页 ——🐅🐾猫头虎的博客🎐 🐳 《面试题大全专栏》 🦕 文章图文并茂🦖生动形象🐅简单易学!欢迎大家来踩踩~🌺 🌊 《IDEA开发秘籍专栏》 🐾 学会IDEA常用操作,工作效率翻倍~💐 🌊 《100天精通Golang(基础

    2024年02月09日
    浏览(83)
  • 华为云耀云服务器L实例:助力企业开启数字化转型,踏上智能之旅

    当前,企业数字化升级已经成为业务发展的不二选择。无论是初创企业还是成长型企业,都迫切需要一种强大的数字基础架构,以满足日益复杂的业务需求。然而,企业在数字化之路上所面临的挑战不可忽视。企业要在激烈竞争之中立于不败之地,关键在于如何在这个充满变

    2024年02月22日
    浏览(59)
  • 云计算新选择,华为云耀云服务器L实例助您轻松上云

    云计算的魅力在于其灵活性和高效性,然而,对于初次涉足云计算领域的中小企业和开发者来说,选择适合自身业务的云服务器往往是一项艰巨的任务。在市场上,各种云服务器型号繁多,参数设置复杂,让用户陷入选择的困境。而在这个背景下,华为云耀云服务器L实例(以

    2024年02月03日
    浏览(49)
  • 【华为云云耀云服务器L实例评测|云原生】自定制轻量化表单Docker快速部署云耀云服务器

    🤵‍♂️ 个人主页: @AI_magician 📡主页地址: 作者简介:CSDN内容合伙人,全栈领域优质创作者。 👨‍💻景愿:旨在于能和更多的热爱计算机的伙伴一起成长!!🐱‍🏍 🙋‍♂️声明:本人目前大学就读于大二,研究兴趣方向人工智能硬件(虽然硬件还没开始玩,但一直

    2024年02月07日
    浏览(62)
  • 更强版本来袭,华为云耀云服务器L实例让小程序开发更高效更安全

    当今世界,百年未有之大变局加速演进,互联网日益成为推动发展的新动能、维护安全的新疆域、文明互鉴的新平台。2023年世界互联网大会乌镇峰会期间发布的《中国互联网发展报告2023》蓝皮书显示,当前,我国数字经济发展势头强劲,成为稳增长促转型的重要引擎。 数字

    2024年02月05日
    浏览(55)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包