【Ambari】HDFS基于Ambari的常规运维

这篇具有很好参考价值的文章主要介绍了【Ambari】HDFS基于Ambari的常规运维。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

ambari hdfs,# 【==== Ambari ====】,ambari,hdfs,运维,服务重启,添加配置,core-site.xml

🦄 个人主页——🎐开着拖拉机回家_大数据运维-CSDN博客 🎐✨🍁

🪁🍁🪁🍁🪁🍁🪁🍁 🪁🍁🪁🍁🪁🍁🪁 🪁🍁🪁🍁🪁🍁🪁🍁🪁🍁🪁🍁

感谢点赞和关注 ,每天进步一点点!加油!

目录

一、 简介

1.1 Ambari介绍

1.2 关于本手册

二、综合运维

2.1 Ambari一览

2.1.1 命令行操作

2.1.2 登入和登出

2.1.3. 管理界面首页

三、服务的管理和运维

3.1 HDFS运维

3.1 启动/停止/删除HDFS服务

3.1.1 HDFS服务的配置

3.1.2 HDFS服务监控


一、 简介


1.1 Ambari介绍


Apache Ambari是一种基于Web的工具,支持Apache Hadoop集群的供应、管理和监控。Ambari已支持大多数Hadoop组件,包括HDFS、MapReduce、Hive、Pig、 Hbase、Zookeeper、Sqoop和Spark等。

1.2 关于本手册


本手册假定您已经通过Ambari完成了HDP的安装,如果您还没有完成安装,请参考:【Ambari】CentOS7.3 内网环境安装Ambari2.7.4+HDP3.1.4(阿里云服务器)_ambari-agent.x86_64.0.2.7.4.0-118下载-CSDN博客。


二、综合运维


您可以在管理界面中可以进行集群、节点和服务级别的管理和运维。在“综合运维”部分,我们将介绍集群和节点级别的管理和运维以及通用的服务管理。

2.1 Ambari一览


Ambari是集群图形化管理应用程序。通过Ambari可视性来控制 Hadoop 集群,您可以轻松地部署、安装、监控和集中操作整个的 HDP集群。如下所示,Ambari承载管理控制台、Web 服务器和应用程序逻辑。它负责安装软件、配置、启动和停止服务,以及管理在集群运行的服务。

ambari hdfs,# 【==== Ambari ====】,ambari,hdfs,运维,服务重启,添加配置,core-site.xml

Ambari由以下几部分组成:

  • 集群代理(ambari-agent:在集群中的每台主机上都必须安装代理。它负责启动和停止进程,安装、卸载配置、 报警以及监视主机。(Ambari安装时候会自动安装)
  • 元数据库:存储系统的配置和监视日志信息。通常有多个逻辑数据库运行在一个或多个数据库服务器。我们默认使用MySQL关系型数据库。
  • 服务端(ambari-server):Ambari-server集群安装和配置统一的配置和管理,控制集群代理完成整个集群组件的安装和卸载等基本管理。

2.1.1 命令行操作

通过命令行,您可以启动、停止和重启ambari-server服务。

ambari-server start|stop|restart|status

启动、停止和重启ambari-agent及查看当前状态(在对应节点上执行)

ambari-agent start|stop|restart|status

ambari hdfs,# 【==== Ambari ====】,ambari,hdfs,运维,服务重启,添加配置,core-site.xml

2.1.2 登入和登出

登入

打开客户端浏览器(推荐使用Google Chrome),输入管理节点IP或DNS地址,比如http://192.168.2.161:8180/(192.168.2.161是管理节点IP, 端口号是8080),输入用户名和密码。初次登入时候必须以admin的身份登录,admin的默认密码是admin。

ambari hdfs,# 【==== Ambari ====】,ambari,hdfs,运维,服务重启,添加配置,core-site.xml

登出

点击用户界面右上角的登入用户名显示下拉式菜单,点击“Sign out”菜单登出系统,如下:

ambari hdfs,# 【==== Ambari ====】,ambari,hdfs,运维,服务重启,添加配置,core-site.xml

2.1.3. 管理界面首页

管理界面有以下一些重要元素:

ambari hdfs,# 【==== Ambari ====】,ambari,hdfs,运维,服务重启,添加配置,core-site.xml


三、服务的管理和运维


下面介绍服务相关的管理和运维操作,我们只对HDFS这一个组件的操作进行说明,YARN、HBase等组件操作基本类似,下面我们介绍两种常用的操作:服务重启和配置添加。

3.1 HDFS运维


Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统。它和现有的分布式文件系统有很多共同点。但同时,它和其他的分布式文件系统的区别也是很明显的。HDFS是一个高度容错性的系统,适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问,非常适合大规模数据集上的应用。HDFS放宽了一部分POSIX约束,来实现流式读取文件系统数据的目的。HDFS在最开始是作为Apache Nutch搜索引擎项目的基础架构而开发的。HDFS是Apache Hadoop Core项目的一部分。

3.1.1 启动/停止/删除HDFS服务

在“HDFS”服务主页面上,将鼠标移至HDFS框的右上角“Action”,出现下拉菜单,您可以点击菜单栏中的选项启动、停止、删除该HDFS服务。

如下红框中的启动、停止等操作是针对整个HDFS服务的操作。

ambari hdfs,# 【==== Ambari ====】,ambari,hdfs,运维,服务重启,添加配置,core-site.xml

单个服务的启动或停止,我们可以选择点击进入”NAMENODE”服务

ambari hdfs,# 【==== Ambari ====】,ambari,hdfs,运维,服务重启,添加配置,core-site.xml

如下图,我们可以对单个服务“NameNode” 选择 restart、stop等操作

ambari hdfs,# 【==== Ambari ====】,ambari,hdfs,运维,服务重启,添加配置,core-site.xml

3.1.2 HDFS服务的配置

选择config下的“SETTINGS”可以进行基本的配置,包括NameNode和Datanode内存、NameNode和DataNode数据保存目录等。

ambari hdfs,# 【==== Ambari ====】,ambari,hdfs,运维,服务重启,添加配置,core-site.xml

如下图,我们将 “NameNode Java heap size”调整为2G后保存

ambari hdfs,# 【==== Ambari ====】,ambari,hdfs,运维,服务重启,添加配置,core-site.xml

备注操作信息后,选择“save”保存

ambari hdfs,# 【==== Ambari ====】,ambari,hdfs,运维,服务重启,添加配置,core-site.xml

选择“OK”

ambari hdfs,# 【==== Ambari ====】,ambari,hdfs,运维,服务重启,添加配置,core-site.xml

选择“PROCESS ANYWAY”

ambari hdfs,# 【==== Ambari ====】,ambari,hdfs,运维,服务重启,添加配置,core-site.xml

配置修改完成后,需要重启相关服务组件来刷新配置,我们选择 “RESTART All Required”

ambari hdfs,# 【==== Ambari ====】,ambari,hdfs,运维,服务重启,添加配置,core-site.xml

确定全部重启

ambari hdfs,# 【==== Ambari ====】,ambari,hdfs,运维,服务重启,添加配置,core-site.xml

等待全部重启完成

ambari hdfs,# 【==== Ambari ====】,ambari,hdfs,运维,服务重启,添加配置,core-site.xml

ADVANCED中Customer Core-site增加配置

ambari hdfs,# 【==== Ambari ====】,ambari,hdfs,运维,服务重启,添加配置,core-site.xml

找到 “Customer core-site”

ambari hdfs,# 【==== Ambari ====】,ambari,hdfs,运维,服务重启,添加配置,core-site.xml

选择“Add Property”

ambari hdfs,# 【==== Ambari ====】,ambari,hdfs,运维,服务重启,添加配置,core-site.xml

将如下的键值对关系配置到对应的页面,要添加三次

dfs.namenode.replication.max-streams 10

dfs.namenode.replication.max-streams-hard-limit 20

dfs.namenode.replication.work.multiplier.per.iteration 10

ambari hdfs,# 【==== Ambari ====】,ambari,hdfs,运维,服务重启,添加配置,core-site.xml

添加完成后的配置,添加完成后选择“save”保存

ambari hdfs,# 【==== Ambari ====】,ambari,hdfs,运维,服务重启,添加配置,core-site.xml

备注操作信息后,选择“save”保存

ambari hdfs,# 【==== Ambari ====】,ambari,hdfs,运维,服务重启,添加配置,core-site.xml

选择“PROCESS ANYWAY”

ambari hdfs,# 【==== Ambari ====】,ambari,hdfs,运维,服务重启,添加配置,core-site.xml

配置修改完成后,需要重启相关服务组件来刷新配置,我们选择 “RESTART All Required”

ambari hdfs,# 【==== Ambari ====】,ambari,hdfs,运维,服务重启,添加配置,core-site.xml

确定全部重启

ambari hdfs,# 【==== Ambari ====】,ambari,hdfs,运维,服务重启,添加配置,core-site.xml

等待重启完成,重启完成后配置生效。

ambari hdfs,# 【==== Ambari ====】,ambari,hdfs,运维,服务重启,添加配置,core-site.xml

3.1.3 HDFS服务监控

如下图,Metrics 是监控信息,包括NameNode内存,RPC,Heap、Load、blocks数等监控项。

ambari hdfs,# 【==== Ambari ====】,ambari,hdfs,运维,服务重启,添加配置,core-site.xml

对于HDFS、HBase、YARN等服务组件,我们上面只列举了重启和配置修改等操作,更多的复杂操作建议联系大数据工程师完成。文章来源地址https://www.toymoban.com/news/detail-753485.html

到了这里,关于【Ambari】HDFS基于Ambari的常规运维的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • Centos7安装ambari

    参考 https://zhuanlan.zhihu.com/p/460867086 https://blog.51cto.com/yangxingzhen/5980590 下载相关软件包: 链接:https://pan.baidu.com/s/1U04kjTUPtT58FNh2FwPqGQ 提取码:5ja5 上传至服务器: [hadoop@node-01 data]$ pwd /data [hadoop@node-01 data]$ ll total 11839096 -rw-r--r--. 1 hadoop hadoop 2030700094 Jan 23 06:40 ambari-2.7.4.0-centos7.

    2023年04月18日
    浏览(30)
  • 【Ambari】银河麒麟V10 ARM64架构_安装Ambari2.7.6&HDP3.3.1(HiDataPlus)

    🦄 个人主页——🎐开着拖拉机回家_Linux,Java基础学习,大数据运维-CSDN博客 🎐✨🍁 感谢点赞和关注 ,每天进步一点点!加油! 🪁🍁🪁🍁🪁🍁🪁🍁 🪁🍁🪁🍁🪁🍁🪁 🪁🍁🪁🍁🪁🍁🪁🍁🪁🍁🪁🍁 目录 一、版本信息 二、HiDataPlus介绍 2.1 Apache Components 2.2 Amba

    2024年02月07日
    浏览(34)
  • Ambari2.7.5集群搭建详细流程

    本文基于本地虚拟机从零开始搭建ambari集群 节点 角色 ambari-1 ambari-server ambari-agent ambari-2 ambari-agent ambari-3 ambari-agent 配置hosts,添加如下内容 所有节点执行 修改 查看修改是否成功 添加如下内容: pssh基于Python编写的并发在多台服务器上批量执行命令的工具,它支持文件并行复

    2024年02月15日
    浏览(25)
  • 【Ambari】Ansible自动化部署大数据集群

    目录 一.版本说明和介绍信息 1.1 大数据组件版本 1.2 Apache Components 1.3 Databases支持版本 二.安装包上传和说明 三.服务器基础环境配置 3.1global配置修改 3.2主机名映射配置 3.3免密用户名密码配置 3.4 ansible安装 四. 安装Ambari-server 4.1 安装ambari-server 4.2 检查REPO源 五、HDP 安装

    2024年04月15日
    浏览(54)
  • ambari管理配置组实现针对不同节点使用不同配置

    一.新建配置组: 二.取名后指定该配置组针对哪些节点生效: 三.添加节点: 保存后有个空的配置组newMR2. 四.接下来在该配置组内自定义一些配置参数,比如单独针对节点hdp01配置fetch最高并发度为20: 五.重启提示的组件,使得配置生效。 参见:https://www.cnblogs.com/basenet855x/

    2024年02月16日
    浏览(31)
  • 华为鲲鹏920 aarch64 版本 Ambari HDP 下载地址

    声明:为有效缓解各位同行兄弟们的痛,特推出此文 本文能够适配兼容 华为鲲鹏920 aarch64 版本,仅限 CentOS7、openEuler20.03-LTS 操作系统 以下是详细下载地址 CentOS7 aarch64 https://mirrors.huaweicloud.com/kunpeng/yum/el/7/bigdata/ https://mirrors.huaweicloud.com/kunpeng/yum/el/7/bigdata/ https://mirrors.huaweic

    2024年02月16日
    浏览(28)
  • Ambari+Bigtop大数据平台安装部署指南(Centos7)一

    安装部署分为以下五个大步骤 1.资源准备 2.操作系统配置 3.数据库配置 4.ambari配置 5.bigtop组件安装 all 表示全部主机都要执行 server表示ambari-server安装的主机执行 ${key}表示需要根据实际情况修改的变量,例如 $ {server.ip} 应替换成server所在主机的ip,所有变量均会标红 需要准备

    2024年02月07日
    浏览(31)
  • 【大数据】大数据 Hadoop 管理工具 Apache Ambari(HDP)

    Apache Ambari 是 Hortonworks 贡献给Apache开源社区的顶级项目,它是一个基于web的工具,用于安装、配置、管理和监视 Hadoop 集群。 Ambari 目前已支持大多数 Hadoop 组件,包括 HDFS、MapReduce、Hive、Pig、 Hbase、Zookeper、Sqoop 和 Hcatalog 等。 Apache Ambari 支持 HDFS、MapReduce、Hive、Pig、Hbase、Z

    2024年02月14日
    浏览(37)
  • 【Ambari】HDP单机自动化安装(基础环境和MySQL脚本一键安装)

    🦄 个人主页 ——🎐开着拖拉机回家_Linux,大数据运维-CSDN博客 🎐✨🍁 🪁🍁🪁🍁🪁🍁🪁🍁 🪁🍁🪁🍁🪁🍁🪁 🪁🍁🪁🍁🪁🍁🪁🍁🪁🍁🪁🍁 感谢点赞和关注 ,每天进步一点点!加油! 目录 一、版本信息 1.1大数据组件版本 1.2Apache Components 1.3Databases支持版本

    2024年02月05日
    浏览(29)
  • 【Ambari】Python调用Rest API 获取集群状态信息并发送钉钉告警

    🦄 个人主页——🎐开着拖拉机回家_大数据运维-CSDN博客 🎐✨🍁 🪁🍁 希望本文能够给您带来一定的帮助🌸文章粗浅,敬请批评指正!🍁🐥 🪁🍁🪁🍁🪁🍁🪁🍁 🪁🍁🪁🍁🪁🍁🪁 🪁🍁🪁🍁🪁🍁🪁🍁🪁🍁🪁🍁 感谢点赞和关注 ,每天进步一点点!加油!

    2024年02月09日
    浏览(27)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包