大数据入门(1)——基础配置与Zookeeper

这篇具有很好参考价值的文章主要介绍了大数据入门(1)——基础配置与Zookeeper。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

目录

一、主机名、本地源

二、时间同步

三、定时任务

四、ssh服务

五、安装JDK

六、安装Zookeeper

总结


一、主机名、本地源

主机名修改命令:

hostnamectl set-hostname [主机名]

立即生效:

bash

本地源修改:
先进入一个文件,命令:

cd /etc/yum.repos.d/

然后输入命令(ls)就可以查看到文件夹下有一个.repo文件
如果需要改动直接替换就好
可以直接进入配置文件

cd /etc/yum.repos.d/****.repo

修改完本地源之后,要修改host文件

vim /etc/hosts

要把多台主机对应的IP地址和主机名写入
后期作了映射之后,如想在master上访问slave1,就不用去访问对应的IP了,直接访问slave1(主机名)就可以了

因为集群里面多台主机是要相互通讯的,所以我们要把防火墙关闭

systemctl stop firewalld

如果关闭了以后想去确认一下,就可以输入命令

systemctl status firewalld

大数据入门(1)——基础配置与Zookeeper
这时候就可以直接看到防火墙的状态是关闭(dead)状态了

二、时间同步

选择时区

tzselect

然后根据提示一步步选择就行
选择完毕后会出现提示,需要将一串代码写入到环境变量中
大数据入门(1)——基础配置与Zookeeper

echo "[提示的代码]" >> /etc/profile && source /etc/profile

注意,要在所有主机中都输入这个命令

之后要对ntp时间协议进行操作
第一步是安装ntp包

yum install -y ntp

安装完成后可输入以下命令查看是否成功安装

rpm -qa | grep ntp

ntp包的下载需要在所有主机中都进行一次

接着要做相应的配置
要把master作为时钟源,以此为中心,把slave去同步master的时间
时钟源有相应的配置文件,直接在master中进行修改

vim /etc/ntp.conf

 大数据入门(1)——基础配置与Zookeeper
找到这一段信息,把原有的时钟源注释掉,并加入本机的时钟源,并嵌入10层时间服务器层级
大数据入门(1)——基础配置与Zookeeper
做完这些后,输入 :wq 保存并退出

在master上配置好后,要进行重启服务

/bin/systemctl restart ntpd.service

之后要在slave主机上进行时间同步

ntpdate master(即时间源主机名)

三、定时任务

此操作可以控制slave主机每隔一段时间去同步时间

要先看这个服务是否开启

service crond status

大数据入门(1)——基础配置与Zookeeper
之后可以查看crondtab的具体命令

crontab -h

大数据入门(1)——基础配置与Zookeeper-e:写入定时任务
-l:列出任务,可查看当前的任务

接下来演示新建定时任务
首先,在slave主机中输入代码进入编辑

crontab -e

然后,在编辑状态下,输入接下来的指令

*/30 10-17 * * * /usr/sbin/ntpdate master

大数据入门(1)——基础配置与Zookeeper这里解释一下,“*/30”表示每30分钟,因此第一个*表示分钟;“10-17”表示一天内的时间,即10点到17点;“* * *”则分别代表“日 月 周”

代表意义 分钟 小时 命令
数字范围 0~59 0~23 1~31 1~12 0~7 /

其中,“周”中的0和7都代表星期日

特殊符号 意义
* 代表能接受任意时刻
表示分割时间段
- 代表一个时间范围
/n 代表每间隔n个单位

创建完任务后输入 :wq 保存并退出
推出后可以输入命令查看任务

crontab -l

四、ssh服务

要使用ssh服务,首先得生成一个密钥

ssh-keygen

大数据入门(1)——基础配置与Zookeeper此密钥文件在目录 /root/.ssh/ 下,密钥也在上图中给出,很明显就是id_rsa.pub
然后要把密钥文件复制到slave主机中

cat /root/.ssh/id_rsa.pub >> /root/.ssh/authorized_keys

我们可以去验证一下,首先查看一下rsa密钥文件

cat id_rsa.pub

然后再去查看authorized_keys文件

cat authorized_keys

大数据入门(1)——基础配置与Zookeeper可以看到两个文件中的内容是相同的,就是把id_rsa.pub文件中的内容放入了authorized_keys文件中。

之后,我们要把authorized_keys这个授权文件放到slave主机中进行相关的信任授权。
用scp命令将授权文件放到slave主机上的相同目录下

scp ~/.ssh/authorized_keys root@slave1:~/.ssh/

大数据入门(1)——基础配置与Zookeeper该操作需要将authorized_keys复制到每一台slave主机

完成这个操作以后,我们就可以直接在master主机上连接到slave主机了

ssh slave1

如果想要退出,就可以输入 “exit” 退出。

五、安装JDK

首先返回至原始目录。

第一步,创建工作环境

mkdir /usr/java

第二步,进入目录

cd /usr/java/

第三步,将对应的下载包下载下来
大数据入门(1)——基础配置与Zookeeper

第四步,解压下载包
大数据入门(1)——基础配置与Zookeeper
可以直接解压到当前目录,也可以通过“-C”这个命令解压到指定目录
大数据入门(1)——基础配置与Zookeeper

第五步,将对应的环境变量写进来

vim /etc/profile

大数据入门(1)——基础配置与Zookeeper
然后将以上内容写入

export JAVA_HOME=/usr/java/jdk1.8.0_171
export CLASSPATH=$JAVA_HOME/lib/
export PATH=$PATH:$JAVA_HOME/bin
export PATH JAVA_HOME CLASSPATH

第六步,保存退出后,我们还要将以上环境变量进行生效。

source /etc/profile

生效后,我们可以通过以下命令查看一下

java -version

同样, 使用scp命令将其复制到slave主机中。

scp -r /usr/java root@slave1:/usr/

复制完成后,我们还是要在slave主机中修改profile文件,生效并验证。

六、安装Zookeeper

还是回到原始目录

最开始还是创建工作目录并进入

mkdir -p /usr/zookeeper && cd /usr/zookeeper

然后下载Zookeeper安装包
大数据入门(1)——基础配置与Zookeeper
然后解压
大数据入门(1)——基础配置与Zookeeper

完成后也是进入profile文件修改环境变量

vim /etc/profile
#Zookeeper
export ZOOKEEPER_HOME=/usr/zookeeper/zookeeper-3.4.10
PATH=$PATH:$ZOOKEEPER_HOME/bin

保存退出后进行生效

source /etc/profile

此操作要在slave主机上也进行一遍!!

接下来进行配置文件的修改
进入到zookeeper的配置文件中
大数据入门(1)——基础配置与Zookeeper

cd zookeeper-3.4.10
cd conf/

配置文件就是zoo_sample.cfg

首先对它进行复制、重命名

cp zoo_sample.cfg zoo.cfg

然后就可以进入修改了

vim zoo.cfg

配置文件中已经有大量信息了,我们只需要修改它的数据路径以及日志路径就可以了
大数据入门(1)——基础配置与Zookeeper
大数据入门(1)——基础配置与Zookeeper

dataDir=/usr/zookeeper/zookeeper-3.4.10/zkdata
dataLogDir=/usr/zookeeper/zookeeper-3.4.10/zkdatalog

并要在最后加上三个集群节点

server.1=master:2888:3888
server.2=slave1:2888:3888
server.3=slave2:2888:3888

然后就是进入并创建数据及其日志的目录了

cd /usr/zookeeper/zookeeper-3.4.10 && mkdir zkdata zkdatalog

还是使用scp命令复制到slave主机上

scp -r /usr/zookeeper root@slave1:/usr/

之前在创建节点的时候有一个对应的序号,因此我们还需要创建一个myid将这些序号写进去
进入zkdata路径

vim myid

直接编辑myid,写入对应的序号。

这些操作在slave主机上也要进行
大数据入门(1)——基础配置与Zookeeper

slave2主机:

cd /usr/zookeeper/zookeeper-3.4.10/zkdata
echo 2 >> myid

slave3主机:

cd /usr/zookeeper/zookeeper-3.4.10/zkdata
echo 3 >> myid

写好了以后就是要开启服务了

zkServer.sh start

注意,要在所有主机上都开启!

然后我们可以查看一下服务的状态

zkServer.sh status

总结

短短27分半的课竟然有那么大的信息量,有一说一,听得稀里糊涂、莫名其妙,要问我为什么要这样做吧,也不能说出啥所以然来。刚还是还是死记硬背吧,应该都是基础知识和固定的目录,背下来就完事儿了……
期待实操……文章来源地址https://www.toymoban.com/news/detail-443320.html

到了这里,关于大数据入门(1)——基础配置与Zookeeper的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • SAP ABAP基础通关百宝书【从入门到精通】目录

    本文章为《SAP ABAP基础通关百宝书》【从入门到精通】系列的目录以及关于该教程的后续写作计划表 💬【个人网站】:【芒果个人日志】​​​​​​ 💬【专栏地址】:  《SAP ABAP基础通关百宝书》【从入门到精通】 https://blog.csdn.net/weixin_59480481/category_12310781.html 💂作者简

    2023年04月27日
    浏览(35)
  • WEB安全基础入门—目录遍历(路径遍历\路径穿越攻击)

    欢迎关注订阅专栏! WEB安全系列包括如下三个专栏: 《WEB安全基础-服务器端漏洞》 《WEB安全基础-客户端漏洞》 《WEB安全高级-综合利用》 知识点全面细致,逻辑清晰、结合实战,并配有大量练习靶场,让你读一篇、练一篇,掌握一篇,在学习路上事半功倍,少走弯路! 欢

    2024年02月02日
    浏览(38)
  • java读取服务器数据包并下载至本地目录

    jsch包如果没有的话,可评论联系我,我私发给你,或者通过https://mvnrepository.com/artifact/com.jcraft/jsch/0.1.55进行下载,添加至工程目录

    2024年02月09日
    浏览(35)
  • Hadoop大数据从入门到实战(三)ZooKeeper入门-初体验

    任务描述 本关任务:初次体验ZooKeeper的下载安装和服务器的启动停止。 编程要求 本关任务是使用命令行,开启ZooKeeper服务器,查看服务器状态。 代码 解析 (1)从ZooKeeper的官方网站上下载稳定版,地址如下:https://zookeeper.apache.org/releases.html#download 下载后,利用 tar 命令将压

    2024年02月08日
    浏览(33)
  • zookeeper学习(三)基础数据结构

    在 zookeeper 中,可以说 zookeeper 中的所有存储的数据是由 znode 组成的,节点也称为 znode,并以 key/value 形式存储数据。 整体结构类似于 linux 文件系统的模式以树形结构存储。其中根路径以 / 开头。 进入 zookeeper 安装的 bin 目录,通过sh zkCli.sh打开命令行终端 执行 “ls /” 命令

    2024年02月14日
    浏览(26)
  • 大数据培训之Zookeeper零基础-1

    Zookeeper本身是Apache提供的一套开源的用于进行分布式管理和协调的机制/框架。官网:https://zookeeper.apache.org Zookeeper本身提供了 中心化服务 ,包含统一配置、统一命名、分布式锁服务、分布式组服务,更多的时候,Zookeeper充当了一个 注册中心 来使用 Zookeeper是Yahoo!仿照了Goog

    2024年03月22日
    浏览(28)
  • C#,入门教程(28)——文件夹(目录)、文件读(Read)与写(Write)的基础知识

    上一篇:   C#,入门教程(27)——应用程序(Application)的基础知识 https://blog.csdn.net/beijinghorn/article/details/125094837 C#知识比你的预期简单的多,但也远远超乎你的想象! 与 文件 相关的知识,不算多。 作为初学者,先学习 文本文件 的读写,就足够应付好几年了。 文件 自然是

    2024年01月23日
    浏览(50)
  • Apache Doris 入门教程35:多源数据目录

    多源数据目录(Multi-Catalog)功能,旨在能够更方便对接外部数据目录,以增强Doris的数据湖分析和联邦数据查询能力。 在之前的 Doris 版本中,用户数据只有两个层级:Database 和 Table。当我们需要连接一个外部数据目录时,我们只能在Database 或 Table 层级进行对接。比如通过 

    2024年02月11日
    浏览(45)
  • PostgreSQL 配置文件、数据储存目录

    在PostgreSQL的数据

    2024年02月02日
    浏览(30)
  • 【深度学习:入门】如何配置CUDA,使用gpu本地训练

    由于显卡的不同,需要先查看我们显卡及驱动最高支持的cuda。 进入cmd输入 nvidia -smi 版本支持向下兼容,为了保证能够和其他开发库版本兼容,这里使用的CUDN版本为11.6. CUDA Toolkit| NVIDIA Developer官网找到对应CUDA版本。(我这里选择的是CUDA11.6) 依次选择如下配置,点击Download下

    2024年02月08日
    浏览(35)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包