Ambari+Bigtop大数据平台安装部署指南(Centos7)一

这篇具有很好参考价值的文章主要介绍了Ambari+Bigtop大数据平台安装部署指南(Centos7)一。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

前言

安装部署分为以下五个大步骤

1.资源准备

2.操作系统配置

3.数据库配置

4.ambari配置

5.bigtop组件安装

必要说明

all 表示全部主机都要执行

server表示ambari-server安装的主机执行

${key}表示需要根据实际情况修改的变量,例如${server.ip}应替换成server所在主机的ip,所有变量均会标红

资源准备

需要准备3台centos7虚拟机,建议规格4C*16G*60G;ambari2.8.0、ambari-metrics3.0.0、bigtop3.2.0三类组件

方式一:

按上篇文章的方式自己编译组件

方式二:

echo "编-译-好-的-包-放-在-群-文-件-里-了"
echo "欢-迎-加-Q-Q-群-进-行-交-流"
echo "7-2-2-0-1-4-9-1-2"

操作系统配置

基础配置

检查操作系统版本一致性(all)

cat /etc/redhat-release

设置操作系统默认语言(all)

localectl set-locale LANG=en_US.UTF-8
要求:en_US.UTF-8

设置操作系统时区(all)

cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime
要求CST +0800

设置机器名(all)

echo "${hostname}" > /etc/hostname

设置域名解析(all)

echo "${ip1} ${hostname1}" >> /etc/hosts
echo "${ip2} ${hostname2}" >> /etc/hosts
echo "${ip3} ${hostname3}" >> /etc/hosts
注意:要将集群每台机器的ip hostname都添加到hosts中

设置网络(all)

echo "NETWORKING=yes" > /etc/sysconfig/network

关闭防火墙(all)

#停止防火墙
systemctl stop firewalld
#关闭防火墙
systemctl disable firewalld

关闭selinux(all)

setenforce 0
echo "SELINUX=disabled" > /etc/selinux/config
echo "SELINUXTYPE=targeted" >> /etc/selinux/config

配置limits参数(all)

echo "*  hard   nproc   65535" > /etc/security/limits.conf
echo "*  soft   nproc   65535" >> /etc/security/limits.conf
echo "*  hard   nofile  65535" >> /etc/security/limits.conf
echo "*  soft   nofile  65535" >> /etc/security/limits.conf

禁用交换分区(all)

sysctl vm.swappiness=0
echo "vm.swappiness=0" >> /etc/sysctl.conf

设置umask(all)

echo umask 0022 >> /etc/profile
source /etc/profile

磁盘挂载(all)

#1.用lsblk命令查看磁盘挂载情况(以sdb为例)


#2.创建挂载的文件夹(有多少块待挂载的磁盘就在/下建多少个data{i}文件夹,i从1开始)
mkdir ${/data1}


#3.修改磁盘分区模式
parted -s ${/dev/sdb} mklabel gpt  


#4.分区
parted -s ${/dev/sdb} mkpart primary 0% 100%

 
#5.格式化
mkfs.ext4 ${/dev/sdb1} 


#6.挂载
mount ${/dev/sdb1} ${/data1} 


#7.开机自动挂载
echo '${/dev/sdb1} ${/data1} ext4 defaults 0 0' >> /etc/fstab 

重启(all)

 `reboot`命令重启以确保基础配置生效

免密(server)

生成密钥

ssh-keygen -f ~/.ssh/id_rsa -t rsa -N ''

发送公钥到全部机器 包括自己

ssh-copy-id -i ~/.ssh/id_rsa.pub root@${hostname1}

ssh-copy-id -i ~/.ssh/id_rsa.pub root@${hostname2}

ssh-copy-id -i ~/.ssh/id_rsa.pub root@${hostname3}

基础软件安装(all)

yum -y groupinstall "Infrastructure Server" --setopt=group_package_types=mandatory,default,optional

yum -y groupinstall "Development Tools" --setopt=group_package_types=mandatory,default,optional

配置ntp服务

服务端(server)

echo "server 127.0.0.1" >> /etc/ntp.conf

echo "fudge 127.0.0.1 stratum 10" >> /etc/ntp.conf

systemctl restart ntpd.service

客户端(all)

echo "server ${server.ip}" >> /etc/ntp.conf

systemctl restart ntpd.service

systemctl enable ntpd

关闭chrony自启动,否则ntp服务不会自启动

systemctl disable chronyd

安装离线镜像源(server)

上传软件

将bigdatarepo上传到~目录

复制软件

cp -r ~/bigdatarepo /var/www/html/

启动httpd服务

#启动

systemctl start  httpd

#开机自启

systemctl  status httpd.service

配置离线镜像源(all)

创建配置文件

cat > /etc/yum.repos.d/ambari.repo <<EOF

[ambari]
name=ambari
baseurl=http://${server.ip}/bigdatarepo
failovermethod=priority
enabled=1
gpgcheck=0

EOF

生效

yum clean all

yum makecache

数据库设置(server)

#安装

yum –y install mariadb-server mysql-connector-java

#启动

systemctl start mariadb

#开机自启

systemctl enable mariadb

#设置密码

mysql -uroot  -e "set password = password('abcd1234');flush privileges;"

#删除空账户

mysql -uroot -pabcd1234 -e "use mysql;delete from user where User='';flush privileges;"

ambari配置(server)

创建数据库

#创建数据库

mysql -uroot  -pabcd1234 -e "create database ambari;create database hive;"

#创建用户并授权

mysql -uroot  -pabcd1234 -e "use ambari; create user 'ambari'@'%' identified by 'ambari123' ;GRANT ALL PRIVILEGES on *.* To 'ambari'@'%' IDENTIFIED BY 'ambari123'; FLUSH PRIVILEGES;"

mysql -uroot  -pabcd1234 -e "use hive; create user 'hive'@'%' identified by 'ambari123' ;GRANT ALL PRIVILEGES on *.* To 'hive'@'%' IDENTIFIED BY 'ambari123'; FLUSH PRIVILEGES;"

安装启动ambari(server)

安装

yum –y install ambari-server

设置

ambari-server setup

Ambari+Bigtop大数据平台安装部署指南(Centos7)一

 

初始化ambari-server数据

mysql -uroot  -pabcd1234 -e "use ambari;source /var/lib/ambari-server/resources/Ambari-DDL-MySQL-CREATE.sql;show tables;"

启动ambari-server

ambari-server start

至此,ambari已经安装完成

下一篇介绍bigtop大数据组件安装文章来源地址https://www.toymoban.com/news/detail-465316.html

到了这里,关于Ambari+Bigtop大数据平台安装部署指南(Centos7)一的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • Openssl数据安全传输平台003:Protobuf-3.17.2的编译与部署:Windows:cmake+VS2022/ Centos7/8: make

    https://github.com/Chufeng-Jiang/OpenSSL_Secure_Data_Transmission_Platform/tree/main/Protobuf 0.2.1 Centos7 https://www.bilibili.com/video/BV1we411R7sS/?vd_source=3353f83539e46042d8cf76efb177a8e4 06-Protobuf在Centos7系统上的安装:版本protobuf3.17.2 0.2.2 windows https://www.bilibili.com/video/BV1rw411X7mY/?spm_id_from=333.999.0.0vd_source=3353f8353

    2024年02月07日
    浏览(49)
  • Centos7 kvm环境安装指南

    CPU支持虚拟化(大部分都支持) 内存越大越好(8G以上) BIOS开启VT-D Centos7及以上,yum update到最新 检查是否支持硬件虚拟化 查看CPU egrep ‘(vmx|svm)’ /proc/cpuinfo 查看vt-d是否开启 kvm安装及配置 安装前的准备 关闭selinux setenforce 0 #命令可以立即生效 修改配置文件,保证重启后仍

    2023年04月08日
    浏览(90)
  • MySQL如何在Centos7环境安装:简易指南

    目录 前言 一、卸载不要的环境 1.检查本地MySQL是否正在运行 2.停止正在运行的MySQL 二、检查系统安装包 三、卸载这些默认安装包 1.手动一个一个卸载 2.自动卸载全部 四、获取mysql官方yum源 五、安装mysql yum源,对比前后yum源 1.安装前 2.安装中 3.安装后 六、查看yum源能不能正常

    2024年02月11日
    浏览(129)
  • CentOS7安装部署Zookeeper

    Apache ZooKeeper 是一个分布式应用程序协调服务;用于维护配置信息、命名、提供分布式同步和组服务。 客户端-服务器模型 :ZooKeeper 遵循客户端-服务器模型,客户端可以向任何服务器节点发起请求。 数据模型 :采用类似文件系统的树形结构来存储数据,每个节点称为 ZNode。

    2024年02月04日
    浏览(50)
  • centos7 安装部署kafka

    官网地址: https://kafka.apache.org/downloads kafka 在 2.8 版本开始脱离 zookeeper,本文示例版本为 2.7.2。 选择图中标记的版本下载。 kafka-2.7.2.src.tgz 是源码格式,需要编译。 kafka_2.12-2.7.2.tgz、kafka_2.13-2.7.2.tgz 是二进制格式,其中 2.12 和 2.13 代表 scala 的版本。 将下载的文件放到linux的

    2024年02月03日
    浏览(58)
  • CentOS7安装和部署Jenkins

    检查旧版: 若已经安装了旧版本,则需要先删除,删除方法: 安装新版: 版本:openjdk version “11.0.18” 2023-01-17 LTS 方法一: 使用wget前可能需要安装wget工具: 下载jenkins的rpm包: 安装: 方法二: 创建repo文件: 导入公钥(这个公钥是为了防止软件被黑客篡改,如果没有公钥

    2024年02月05日
    浏览(43)
  • 腾讯云centos7.6安装部署

    wget http://dev.mysql.com/get/mysql-community-release-el7-5.noarch.rpm rpm -ivh mysql-community-release-el7-5.noarch.rpm yum install mysql-community-server 1.1.1 安装后重启 service mysqld restart 1.1.2 初次安装mysql,root账户没有密码,登录Mysql: mysql -u root  1.1.3 设置密码 mysql set password for \\\'root\\\'@\\\'localhost\\\' =password(\\\'12345

    2024年02月10日
    浏览(36)
  • 在CentOS7安装部署GitLab服务

    官方安装教程:https://about.gitlab.com/install/ 参考安装教程:https://developer.aliyun.com/article/74395 Step1:配置yum源 存入以下内容: Step2:更新本地yum缓存 Step3:安装GitLab社区版 Step4:启动Gitlab Step5:登录并配置Gitlab 打开服务器本地浏览器,访问:127.0.0.1 地址,打开 Gitlab 管理后台,

    2024年02月14日
    浏览(41)
  • CentOS7安装部署Redis7

    Linux 发行版: CentOS-7-x86_64-DVD-1804.iso Redis 版本: 7.0.12 Redis Download:https://redis.io/download/ Redis Tag:https://github.com/redis/redis/tags Redis入门和使用实践v2018:https://blog.csdn.net/u011424614/article/details/100170313 [Windows] Redis使用记录:https://blog.csdn.net/u011424614/article/details/101531772 CentOS基础操作

    2024年02月12日
    浏览(37)
  • CentOS7---部署Tomcat和安装Jpress

    静态网页: 请求响应信息,发给客户端进行处理,由浏览器进行解析,显示的页面,静态网页包含文本、图像、Flash动画、超链接等内容,在编写网页源代码时已经确定。除非网页源代码被重新修改,否则这些内容不会发生变化。 动态网页: 请求响应信息,发给事务端进行

    2023年04月15日
    浏览(42)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包