“1+X“大数据平台运维职业技能等级证书(中级)模拟题-Storm组件部署

这篇具有很好参考价值的文章主要介绍了“1+X“大数据平台运维职业技能等级证书(中级)模拟题-Storm组件部署。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

目录

一、前置说明

二、Storm相关知识(必看,仅应对考试)

三、Storm部署

3.1、Zookeeper集群安装并启动

3.2、解压Storm,并配置conf/storm.yaml

3.3、启动storm集群

3.3.1、前台运行

3.3.2、挂载后台运行

3.4、web查看


一、前置说明

这个是我自己电脑的环境,考试会变动

环境表
主机名 IP地址
masterNode1 192.168.5.200
slaveNode1 192.168.5.201
slaveNode2 192.168.5.202

简单操作比如解压、配置环境变量等就不写进来了,不会的自行百度

二、Storm相关知识(必看,仅应对考试)

段落节选自Zookeeper+Storm集群搭建 - 简书 (jianshu.com)

“1+X“大数据平台运维职业技能等级证书(中级)模拟题-Storm组件部署

三、Storm部署

3.1、Zookeeper集群安装并启动

1+X“大数据平台运维职业技能等级证书(初级)模拟题-Zookeeper集群部署_Quin22的博客-CSDN博客

3.2、解压Storm,并配置conf/storm.yaml

storm.yaml添加红框配置:

这里其实除了supervisor.slots.ports是要自己写的,其他两个在原文件里都有

注意主机名,nimbus.seeds可以只写一个节点,如果题目要求多个主节点就像图中那样写,这里会影响到最后面web的显示效果

supervisor.slots.ports从6700开始写,有几个节点就写多少个端口

“1+X“大数据平台运维职业技能等级证书(中级)模拟题-Storm组件部署

3.3、启动storm集群

这里默认大伙都已经配置好storm和环境变量,并且给每个节点都分发了

storm集群启动的命令为

storm [要启动的服务]
这里要启动的服务主要有三个,如果仅用于考证只需要记住下面三个
nimbus:主节点(管理节点)
supervisor:从节点(计算节点、工作节点)
ui:web界面

3.3.1、前台运行

在主节点使用以下命令

注意,这里的主节点只能是storm.yaml里配置项nimbus.seeds里有的节点

storm ui
storm nimbus

在所有从节点使用以下命令

storm supervisor

值得注意的是,你需要根据题目的要求来决定每个节点运行什么服务

比如题目可能会要求你每个节点都作为计算节点,那么你就需要在每个节点都执行一次 storm supervisor

停止服务就直接Ctrl+C就行了

3.3.2、挂载后台运行(这个和前台运行之间选一个,不要两个都做)

storm启动后会像kafka一样占用一个终端窗口,所以可以用nohup将storm启动后的服务挂到后台运行

nohup [命令] >/dev/null 2&1 &

“1+X“大数据平台运维职业技能等级证书(中级)模拟题-Storm组件部署

这种办法适用于不能开启多个终端的环境,如果有关闭服务的需求:

首先使用 jobs -l 查看任务进程号

“1+X“大数据平台运维职业技能等级证书(中级)模拟题-Storm组件部署

 然后使用 kill -9 [进程号] 关闭服务

“1+X“大数据平台运维职业技能等级证书(中级)模拟题-Storm组件部署

这里也需要注意,服务进程号是有可能会变动的,所以建议关闭一个进程后用 jobs -l 重新查看进程号 

3.4、web查看

登录 [启动了ui服务的节点的ip或主机名]:8080,就可以看到storm的web了

Nimbus Summary底下有几个Hosts取决于storm.yaml里配置项nimbus.seeds有多少台主机,我前面的配置项里有三台,这里也有三台

“1+X“大数据平台运维职业技能等级证书(中级)模拟题-Storm组件部署

Cluster Summary 中,有一栏是Supervisors,这里是根据你storm集群里有几个节点开启了supervisor服务决定的,我这里只有两台从节点开启了服务,所以数量是2

在底下的Supervisor Summary底下可以看到开启了supervisor服务的节点

“1+X“大数据平台运维职业技能等级证书(中级)模拟题-Storm组件部署文章来源地址https://www.toymoban.com/news/detail-471426.html

到了这里,关于“1+X“大数据平台运维职业技能等级证书(中级)模拟题-Storm组件部署的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 区块链技术与应用 【全国职业院校技能大赛国赛题目解析】第二套区块链系统部署与运维

    第二套区块链系统部署与运维题目 环境 : ubuntu20 fisco : 2.8.0 docker: 20.10.21 webase-deploy : 1.5.5 mysql: 8.0.34 使用 build_chain.sh 脚本文件进行搭建区块链 ,要求: 四节点,默认配置,单机,docker

    2024年02月08日
    浏览(94)
  • 区块链技术与应用 【全国职业院校技能大赛国赛题目解析】第一套区块链系统部署与运维

    第一套区块链系统部署与运维题目 环境 : ubuntu20 fisco : 2.8.0 题意: 要求搭建一条四节点的区块链系统,我们选择使用fisco作为此次测试的链子 我们使用build_chain.sh进行构建单机四节点,并且使用官方的默认端口【正式比赛大概率不会用默认端口,会有详细的说明使用什么端

    2024年02月08日
    浏览(65)
  • 2022 年全国职业院校技能大赛高职组云计算赛项赛题解析-“私有云 赛项” 之 《私有云运维开发》!!超详细!

    目录 【任务 3】私有云运维开发[10 分] 【题目 1】Ansible 服务部署:部署 MariaDB 集群[2 分]

    2024年02月08日
    浏览(42)
  • 1+x_大数据应用开发(python)职业技能(中级)

    大数据应用开发(python)职业技能等级证书(中级),1+x证书考题。 题库就是这些题,博主考试的时候全是下面的原题,总分100等于理论40+实操60,二者相加超过60分即可,建议大家把重点放在实操题上。 文末有百度网盘下载地址,供大家免费下载csv文件。 只要大家把这三套

    2024年02月05日
    浏览(48)
  • 全国职业院校技能大赛-大数据 离线数据处理模块-数据清洗

    子任务2:数据清洗         编写Hive SQL代码,将ods库中相应表数据全量抽取到Hive的dwd库中对应表中。表中有涉及到timestamp类型的,均要求按照yyyy-MM-dd HH:mm:ss,不记录毫秒数,若原数据中只有年月日,则在时分秒的位置添加00:00:00,添加之后使其符合yyyy-MM-dd HH:mm:ss。 抽取

    2024年02月02日
    浏览(49)
  • 全国职业院校技能大赛-大数据 离线数据处理模块-指标计算

    赛题来源2023年全国职业院校技能大赛赛题第1套任务B中指标计算模块 编写Scala代码,使用Spark计算相关指标。 注:在指标计算中,不考虑订单信息表中order_status字段的值,将所有订单视为有效订单。计算订单金额或订单总金额时只使用final_total_amount字段。需注意dwd所有的维表

    2024年02月01日
    浏览(50)
  • 2023年全国职业院校技能大赛-大数据应用开发-数据可视化

            可视化题目与以往相同,做法类似,我这里展示得到语句后处理优化以后的代码,以函数式来写可视化,比以前400-500多行代码简洁到100多行。其他题目见本栏目,那里面的代码都是没有优化后的,这次主要以效率和精简给大家提供更多的思路。         我们得到

    2024年02月04日
    浏览(52)
  • 大数据职业技能大赛样题(数据采集与实时计算:使用Flink处理Kafka中的数据)

           编写Scala代码,使用Flink消费Kafka中Topic为order的数据并进行相应的数据统计计算(订单信息对应表结构order_info,订单详细信息对应表结构order_detail(来源类型和来源编号这两个字段不考虑,所以在实时数据中不会出现),同时计算中使用order_info或order_detail表中create_ti

    2024年03月24日
    浏览(52)
  • 云计算职业技能大赛组件介绍(一)

    上文我们准备好了一个实验平台,我们了解了该如何搭建开源平台open stack,在此基础上,我们该理论的,系统的,详细的了解一下open stack的各个组件的作用和原理。 官方的解释是:OpenStack是一个云操作系统,通过数据中心可控制大型的计算、存储、网络等资源池。所有的管

    2024年02月21日
    浏览(37)
  • 云计算职业技能大赛私有云搭建部分

    需要的可联系,可提供相关的软件包和平台供测试 数据库安装与调优 在 controller 节点上使用 iaas-install-mysql.sh 脚本安装 Mariadb 、 Memcached 、 RabbitMQ 等服务。安装服务完毕后, 修改 /etc/my.cnf 文件,完成下列要求: 1.设置数据库支持大小写; 2.设置数据库缓存 innodb 表的索引,数

    2024年04月27日
    浏览(33)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包