Ambari2.7.5集群搭建详细流程

这篇具有很好参考价值的文章主要介绍了Ambari2.7.5集群搭建详细流程。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

0 说明

本文基于本地虚拟机从零开始搭建ambari集群

1 前置条件

1.1 本地虚拟机环境

节点 角色
ambari-1 ambari-server ambari-agent
ambari-2 ambari-agent
ambari-3 ambari-agent

1.2 安装包

1.3 修改主机名并配置hosts文件

hostnamectl set-hostname ambari-1
hostnamectl set-hostname ambari-2
hostnamectl set-hostname ambari-3

配置hosts,添加如下内容

192.168.2.51 ambari-1
192.168.2.52 ambari-2
192.168.2.53 ambari-3

1.4 配置节点间免密

所有节点执行

ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 600 ~/.ssh/authorized_keys
ssh-copy-id -i ~/.ssh/id_rsa.pub ambari-1
ssh-copy-id -i ~/.ssh/id_rsa.pub ambari-2
ssh-copy-id -i ~/.ssh/id_rsa.pub ambari-3

1.5 关闭防火墙

systemctl stop firewalld.service
systemctl disable firewalld.service

ambari搭建,大数据平台,ambari,大数据平台,大数据集群,大数据

1.6 关闭selinux(所有节点)

vim /etc/sysconfig/selinux

修改

SELINUX=disabled

查看修改是否成功

 sestatus -v

ambari搭建,大数据平台,ambari,大数据平台,大数据集群,大数据

1.7 设置安全限制(所有节点)

 vim /etc/security/limits.conf

添加如下内容:

* soft nofile 65536
* hard nofile 65536
* soft nproc 131072
* hard nproc 131072

1.8 修改系统最大文件打开数(所有节点)

 vim /etc/systemd/system.conf

ambari搭建,大数据平台,ambari,大数据平台,大数据集群,大数据

1.9 安装pssh(非必须)

pssh基于Python编写的并发在多台服务器上批量执行命令的工具,它支持文件并行复制、远程并行执行命令、杀掉远程主机上的进程等,这里介绍安装及常用命令。

wget http://peak.telecommunity.com/dist/ez_setup.py
wget https://pypi.python.org/packages/60/9a/8035af3a7d3d1617ae2c7c174efa4f154e5bf9c24b36b623413b38be8e4a/pssh-2.3.1.tar.gz
  • 解压
tar -zxvf  pssh-2.3.1.tar.gz
build & install
 python setup.py build
 python setup.py install
  • 创建nodes文件

添加需要批处理的服务器节点

ambari-1:22
ambari-2:22
ambari-3:22
  • 使用示例
 pssh -h /root/node.txt -i -P 'date'

ambari搭建,大数据平台,ambari,大数据平台,大数据集群,大数据

1.10 配置ntpd同步(所有节点)

1.11 设置swap(所有节点)

pssh -h /root/nodes.txt -i 'echo vm.swappiness = 1 >> /etc/sysctl.conf'
 pssh -h /root/nodes.txt -i 'sysctl vm.swappiness=1'
 pssh -h /root/nodes.txt -i 'sysctl -p'

ambari搭建,大数据平台,ambari,大数据平台,大数据集群,大数据

1.12 安装http服务(主节点)

yum -y install httpd

设置开机自启

systemctl start httpd
systemctl enable httpd.service

浏览器访问测试,出现如下页面说明安装成功
ambari搭建,大数据平台,ambari,大数据平台,大数据集群,大数据
安装完成后,会生成 /var/www/html目录(相当于Tomcat的webapps目录),进入到/var/www/html目录下,创建ambari和hdp目录,用来存放安装文件.

1.13 安装httpd服务(主节点)

mkdir /var/www/html/ambari
mkdir /var/www/html/hdp
mkdir /var/www/html/hdp/HDP-UTILS-1.1.0.22
mkdir /var/www/html/hdp/HDP-GPL-3.1.5.0
 tar -zxvf ambari-2.7.5.0-centos7.tar.gz -C /var/www/html/ambari/
 tar -zxvf HDP-3.1.5.0-centos7-rpm.tar.gz -C /var/www/html/hdp/
 tar -zxvf HDP-UTILS-1.1.0.22-centos7.tar.gz -C /var/www/html/hdp/HDP-UTILS-1.1.0.22/
 tar -zxvf HDP-GPL-3.1.5.0-centos7-gpl.tar.gz -C /var/www/html/hdp/HDP-GPL-3.1.5.0/

重启httpd服务

systemctl restart httpd

测试访问:

http://ambari-1:/ambari
http://ambari-1:/hdp

ambari搭建,大数据平台,ambari,大数据平台,大数据集群,大数据
ambari搭建,大数据平台,ambari,大数据平台,大数据集群,大数据

1.14 配置离线yum源(主节点)

cd /var/www/html/ambari/ambari/centos7/2.7.5.0-72
vim ambari.repo

ambari搭建,大数据平台,ambari,大数据平台,大数据集群,大数据

复制到/etc/yum.repos.d目录下,并同步到其他节点
查看yum源是否配置成功

pssh -h /root/nodes.txt -i 'yum repolist'

ambari搭建,大数据平台,ambari,大数据平台,大数据集群,大数据

1.15 安装jdk(所有节点)

注:安装在/usr/local/java目录下或在该目录下建立软连接,因为ambari默认会去该目录找java。

2 安装Mysql

2.1 卸载mariadb

rpm -qa | grep mariadb | xargs rpm -e --nodeps

2.2 下载mysql5.7的yum源

wget https://dev.mysql.com/get/mysql57-community-release-el7-9.noarch.rpm

2.3 安装Mysql的yum源

rpm -ivh mysql57-community-release-el7-9.noarch.rpm

2.4 安装Mysql

yum -y install mysql-server

安装过程中可能报错如下:
ambari搭建,大数据平台,ambari,大数据平台,大数据集群,大数据
执行如下命令,再次安装即可

rpm --import https://repo.mysql.com/RPM-GPG-KEY-mysql-2022

2.5 启动mysql

service mysqld start

2.6 查看root密码

grep 'temporary password' /var/log/mysqld.log    

2.7 执行Mysql脚本

mysql_secure_installation

ambari搭建,大数据平台,ambari,大数据平台,大数据集群,大数据

2.8 配置新密码

2.9 配置root远程登录

mysql -uroot -p密码
grant all privileges on *.* to 'root' @'%' identified by 'Chen.123456';
flush privileges;

ambari搭建,大数据平台,ambari,大数据平台,大数据集群,大数据

2.10 拷贝mysql驱动

将mysql-connector-java-5.1.27-bin.jar拷贝到/usr/share/java路径下,并重命名mysql-connector-java.jar
注:这里需要将mysql的驱动jar包拷贝到/usr/share/java目录下,如果该目录不存在,则新建目录。因为ambari-server启动后会默认到该位置找jar包,如果/usr/share/java不存在该jar包,则会报错如下:
ambari搭建,大数据平台,ambari,大数据平台,大数据集群,大数据

3 安装Ambari&HDP

3.1 安装ambari-server

 yum -y install ambari-server

ambari搭建,大数据平台,ambari,大数据平台,大数据集群,大数据

3.2 配置ambari.properties

配置/etc/ambari-server/conf/ambari.properties

 vim /etc/ambari-server/conf/ambari.properties

添加如下配置

server.jdbc.driver.path=/root/software/mysql/mysql-connector-java.jar

3.3 配置ambari-server

ambari-server setup 

ambari搭建,大数据平台,ambari,大数据平台,大数据集群,大数据

3.4 登录mysql创建ambari安装所需要的库

1)创建ambari数据库和ambari用户

 CREATE DATABASE ambari DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
 use ambari;
 CREATE USER 'ambari'@'%' IDENTIFIED BY 'ambari123';
 GRANT ALL PRIVILEGES ON *.* TO 'ambari'@'%';
 CREATE USER 'ambari'@'localhost' IDENTIFIED BY 'ambari123';
 GRANT ALL PRIVILEGES ON *.* TO 'ambari'@'localhost';
 CREATE USER 'ambari'@'ambari-1' IDENTIFIED BY 'ambari123';
 GRANT ALL PRIVILEGES ON *.* TO 'ambari'@'ambari-1';

可能包如下错:

ERROR 1819 (HY000): Your password does not satisfy the current policy requirements

这是由于mysql策略设置的问题,解决方案如下:
① 查看mysql当前密码设置策略

SHOW VARIABLES LIKE 'validate_password%';

② 执行如下命令,即可

set global validate_password_policy=0;

2)执行初始化sql语句

use ambari;
source /var/lib/ambari-server/resources/Ambari-DDL-MySQL-CREATE.sql
  1. 创建hive数据库和hive用户
    注:这里创建的hive账户主要用来后续安装hive组件时使用,如果不需要安装hive,则可跳过此步
CREATE DATABASE hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
use hive;
CREATE USER 'hive'@'%' IDENTIFIED BY 'hive1234';
GRANT ALL PRIVILEGES ON *.* TO 'hive'@'%';
CREATE USER 'hive'@'localhost' IDENTIFIED BY 'hive1234';
GRANT ALL PRIVILEGES ON *.* TO 'hive'@'localhost';
CREATE USER 'hive'@'ambari-1' IDENTIFIED BY 'hive1234';
GRANT ALL PRIVILEGES ON *.* TO 'hive'@'ambari-1';
  1. 创建oozie数据库和oozie账户
    注:这里创建的oozie账户主要用来后续安装hive组件时使用,如果不需要安装oozie,则可跳过此步
CREATE DATABASE oozie DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
use oozie;
CREATE USER 'oozie'@'%' IDENTIFIED BY 'oozie123';
GRANT ALL PRIVILEGES ON *.* TO 'oozie'@'%';
CREATE USER 'oozie'@'localhost' IDENTIFIED BY 'oozie123';
GRANT ALL PRIVILEGES ON *.* TO 'oozie'@'localhost';
CREATE USER 'oozie'@'ambari-1' IDENTIFIED BY 'oozie123';
GRANT ALL PRIVILEGES ON *.* TO 'oozie'@'ambari-1';

5)刷新

FLUSH PRIVILEGES;

3.5 启动ambari-server

ambari-server start

ambari搭建,大数据平台,ambari,大数据平台,大数据集群,大数据
查看/var/log/ambari-server/ambari-server.out日志,发现正常
ambari搭建,大数据平台,ambari,大数据平台,大数据集群,大数据

3.6 所有节点安装ambari-agent

pssh -h /root/nodes.txt -i 'yum -y install ambari-agent'

修改配置文件ambari-agent.ini

vi /etc/ambari-agent/conf/ambari-agent.ini

ambari搭建,大数据平台,ambari,大数据平台,大数据集群,大数据

启动ambari-agent

pssh -h /root/nodes.txt  -i 'systemctl start ambari-agent'

ambari搭建,大数据平台,ambari,大数据平台,大数据集群,大数据

4 部署集群

登录ambari-1:8080可看到如下页面,账户和密码均为admin

ambari-1:8080

ambari搭建,大数据平台,ambari,大数据平台,大数据集群,大数据

4.1 设置集群名

ambari搭建,大数据平台,ambari,大数据平台,大数据集群,大数据

4.2 设置正确版本

选择HDP-3.1和Use Local Repository
ambari搭建,大数据平台,ambari,大数据平台,大数据集群,大数据
删除其他镜像源,选择Redhat,并输入HDP的url地址
ambari搭建,大数据平台,ambari,大数据平台,大数据集群,大数据

4.3 配置节点并验证

设置ambari集群的节点,选择手动(这里需要保证集群其他节点的ambari-agent均正常启动)
ambari搭建,大数据平台,ambari,大数据平台,大数据集群,大数据
等待准备完成
ambari搭建,大数据平台,ambari,大数据平台,大数据集群,大数据

4.4 选择需要安装的服务

ambari搭建,大数据平台,ambari,大数据平台,大数据集群,大数据
注:点击下一步如发生报错,说明ambari用户对目录没有执行权限,在后台执行如下命令即可

Error message: Error occured during stack advisor command invocation: Cannot create /var/run/ambari-server/stack-recommendations

sudo chown -R ambari /var/run/ambari-server

ambari搭建,大数据平台,ambari,大数据平台,大数据集群,大数据

4.5 配置

按默认配置
ambari搭建,大数据平台,ambari,大数据平台,大数据集群,大数据

4.6 配置服务slaves

ambari搭建,大数据平台,ambari,大数据平台,大数据集群,大数据

4.7 设置相关服务密码

ambari搭建,大数据平台,ambari,大数据平台,大数据集群,大数据

4.8 测试数据库连接

ambari搭建,大数据平台,ambari,大数据平台,大数据集群,大数据
注:如果测试连接失败,报错如下:
ambari搭建,大数据平台,ambari,大数据平台,大数据集群,大数据
这里是由于mysql的jar包没有识别到,在server节点执行如下命令

ambari-server setup --jdbc-db=mysql --jdbc-driver=/root/software/mysql/mysql-connector-java.jar

ambari搭建,大数据平台,ambari,大数据平台,大数据集群,大数据
然后再点击测试即能正常连接
保持默认,点击下一步
ambari搭建,大数据平台,ambari,大数据平台,大数据集群,大数据
保持默认,下一步
ambari搭建,大数据平台,ambari,大数据平台,大数据集群,大数据
保持默认,下一步
ambari搭建,大数据平台,ambari,大数据平台,大数据集群,大数据

4.9 部署

ambari搭建,大数据平台,ambari,大数据平台,大数据集群,大数据
等待部署完成
ambari搭建,大数据平台,ambari,大数据平台,大数据集群,大数据
安装完成(这里报黄是由于,当前安装是虚拟机安装,内存不足显示为黄色,没有问题)
ambari搭建,大数据平台,ambari,大数据平台,大数据集群,大数据

4.10 完成安装

ambari搭建,大数据平台,ambari,大数据平台,大数据集群,大数据
ambari搭建,大数据平台,ambari,大数据平台,大数据集群,大数据

5 附ambari汉化

5.1 汉化的文件

模块 源码文件目录 编译后目录 安装后目录
仪表盘主界面 ambari-web/app/messages.js ambari-web/public/javascripts/app.js /usr/lib/ambari-server/web/javascripts/app.js
管理员界面 ambari-admin/src/main/resources/ui/admin-web/app/scripts/i18n.config.js/main.js 不变 /var/lib/ambari-server/resources/views/work/ADMIN_VIEW{2.7.5.0}/scripts
主页底部版权信息 ambari-web/app/assets/index.html ambari-web/public/index.html /usr/lib/ambari-server/web/index.html
登录框 ambari-web/app/templates/login.hbs public/javascripts/app.js /usr/lib/ambari-server/web/javascripts/app.js
DashBoard 页头 /ambari-web/app/templates/application.hbs public/javascripts/app.js /usr/lib/ambari-server/web/javascripts/app.js
仪表盘的关于信息 ambari-web/app/templates/common/about.hbs public/javascripts/app.js
管理页面的关于信息 /ambari-admin/src/main/resources/ui/admin-web/app/views/modals/AboutModal.html 不变 /var/lib/ambari-server/resources/views/work/ADMIN_VIEW{2.7.5.0}/views/modals/AboutModal.html

5.2 替换app.js

给出参考app.js汉化包如下:

链接:https://pan.baidu.com/s/1FOajkxocFSKxAg_huAowXw 
提取码:25wu 

5.3 修改logo

根据自身需要自定义/usr/lib/ambari-server/web/

5.4 修改仪表盘AboutModal.html

5.5 修改Index.html

版权信息
ambari搭建,大数据平台,ambari,大数据平台,大数据集群,大数据
修改完成后重启ambari-server即可
ambari搭建,大数据平台,ambari,大数据平台,大数据集群,大数据
ambari搭建,大数据平台,ambari,大数据平台,大数据集群,大数据文章来源地址https://www.toymoban.com/news/detail-605553.html

到了这里,关于Ambari2.7.5集群搭建详细流程的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 【Ambari】Python调用Rest API 获取集群状态信息并发送钉钉告警

    🦄 个人主页——🎐开着拖拉机回家_大数据运维-CSDN博客 🎐✨🍁 🪁🍁 希望本文能够给您带来一定的帮助🌸文章粗浅,敬请批评指正!🍁🐥 🪁🍁🪁🍁🪁🍁🪁🍁 🪁🍁🪁🍁🪁🍁🪁 🪁🍁🪁🍁🪁🍁🪁🍁🪁🍁🪁🍁 感谢点赞和关注 ,每天进步一点点!加油!

    2024年02月09日
    浏览(39)
  • 【大数据】大数据 Hadoop 管理工具 Apache Ambari(HDP)

    Apache Ambari 是 Hortonworks 贡献给Apache开源社区的顶级项目,它是一个基于web的工具,用于安装、配置、管理和监视 Hadoop 集群。 Ambari 目前已支持大多数 Hadoop 组件,包括 HDFS、MapReduce、Hive、Pig、 Hbase、Zookeper、Sqoop 和 Hcatalog 等。 Apache Ambari 支持 HDFS、MapReduce、Hive、Pig、Hbase、Z

    2024年02月14日
    浏览(48)
  • Ambari+Bigtop大数据平台安装部署指南(Centos7)一

    安装部署分为以下五个大步骤 1.资源准备 2.操作系统配置 3.数据库配置 4.ambari配置 5.bigtop组件安装 all 表示全部主机都要执行 server表示ambari-server安装的主机执行 ${key}表示需要根据实际情况修改的变量,例如 $ {server.ip} 应替换成server所在主机的ip,所有变量均会标红 需要准备

    2024年02月07日
    浏览(43)
  • 【Ambari】HDFS基于Ambari的常规运维

    🦄 个人主页 ——🎐开着拖拉机回家_大数据运维-CSDN博客 🎐✨🍁 🪁🍁🪁🍁🪁🍁🪁🍁 🪁🍁🪁🍁🪁🍁🪁 🪁🍁🪁🍁🪁🍁🪁🍁🪁🍁🪁🍁 感谢点赞和关注 ,每天进步一点点!加油! 目录 一、 简介 1.1 Ambari介绍 1.2 关于本手册 二、综合运维 2.1 Ambari一览 2.1.1 命

    2024年02月05日
    浏览(32)
  • 初学者部署Ambari及通过Ambari安装hadoop相关组件

    目录 1.准备工作 1.2初始化配置 1.2.1设置主机名 1.2.2HOSTS文件 1.2.3关闭防火墙和selinux 1.2.4免密配置(单台机器也需要) 1.2.5修改yum源为阿里源 1.2.6配置JAVA环境变量(如果未安装java环境则需要先安装) ​​​​​​​1.2.7NTP时钟同步 ​​​​​​​1.2.8安装httpd服务 ​​​​​​​

    2024年02月06日
    浏览(39)
  • Ambari自动部署hadoop

    Apache Ambari项目旨在通过开发用于配置,管理和监控Apache Hadoop集群的软件来简化Hadoop管理. Ambari提供了一个由RESTful API支持的直观,易用的Hadoop管理Web Ul。 Ambari使系统管理员能够: 提供Hadoop集群  Ambari提供了跨任意数量的主机安装Hadoop服务的分步向导 Ambari处理集群的Hadoop服务配

    2024年02月11日
    浏览(30)
  • Centos7安装ambari

    参考 https://zhuanlan.zhihu.com/p/460867086 https://blog.51cto.com/yangxingzhen/5980590 下载相关软件包: 链接:https://pan.baidu.com/s/1U04kjTUPtT58FNh2FwPqGQ 提取码:5ja5 上传至服务器: [hadoop@node-01 data]$ pwd /data [hadoop@node-01 data]$ ll total 11839096 -rw-r--r--. 1 hadoop hadoop 2030700094 Jan 23 06:40 ambari-2.7.4.0-centos7.

    2023年04月18日
    浏览(37)
  • Ambari-web 架构

    Ambari-web 使用的前端 Embar.js MVC 框架实现,Embar.js 是一个 TodoMVC 框架,涵盖了单页面应用(single page application)几乎所有的行为 Nodejs 是一个基于 Chrome JavaScript 运行时建立的一个平台,用来方便的搭建快速的易于扩展的网络应用,NodeJS 借助事件驱动,非阻塞 I/O 模型变得轻量和

    2023年04月17日
    浏览(27)
  • ambari管理配置组实现针对不同节点使用不同配置

    一.新建配置组: 二.取名后指定该配置组针对哪些节点生效: 三.添加节点: 保存后有个空的配置组newMR2. 四.接下来在该配置组内自定义一些配置参数,比如单独针对节点hdp01配置fetch最高并发度为20: 五.重启提示的组件,使得配置生效。 参见:https://www.cnblogs.com/basenet855x/

    2024年02月16日
    浏览(39)
  • 华为鲲鹏920 aarch64 版本 Ambari HDP 下载地址

    声明:为有效缓解各位同行兄弟们的痛,特推出此文 本文能够适配兼容 华为鲲鹏920 aarch64 版本,仅限 CentOS7、openEuler20.03-LTS 操作系统 以下是详细下载地址 CentOS7 aarch64 https://mirrors.huaweicloud.com/kunpeng/yum/el/7/bigdata/ https://mirrors.huaweicloud.com/kunpeng/yum/el/7/bigdata/ https://mirrors.huaweic

    2024年02月16日
    浏览(40)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包