大数据组件-Flume集群环境的启动与验证

这篇具有很好参考价值的文章主要介绍了大数据组件-Flume集群环境的启动与验证。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

🥇🥇【大数据学习记录篇】-持续更新中~🥇🥇


个人主页:beixi@
本文章收录于专栏(点击传送):【大数据学习】

💓💓持续更新中,感谢各位前辈朋友们支持学习~💓💓

上一篇文章写到了Flume集群环境的安装,这篇文章接着上篇文章延伸Flume集群环境的启动与验证,如果Flume集群环境没有搭建的小伙伴们可以参考我上一篇文章:大数据组件-Flume集群环境搭建
大数据组件-Flume集群环境的启动与验证,大数据技术学习,大数据,flume,分布式,运维

1.环境介绍

本次用到的环境有:
Oracle Linux 7.4,三台虚拟机,分别为master,slave1,slave2
JDK1.8.0_144
Hadoop2.7.4集群环境
Flume1.6.0

2.Flume集群环境的启动与验证

1.在master机上启动flume

/opt/flume/bin/flume-ng agent -n a1 -c conf -f /opt/flume/conf/master.conf -Dflume.root.logger=INFO,console &

大数据组件-Flume集群环境的启动与验证,大数据技术学习,大数据,flume,分布式,运维

大数据组件-Flume集群环境的启动与验证,大数据技术学习,大数据,flume,分布式,运维

2.切换slave1,启动slave1上的flume

/opt/flume/bin/flume-ng agent -n a1 -c conf -f /opt/flume/conf/slave.conf -Dflume.root.logger=INFO,console &

大数据组件-Flume集群环境的启动与验证,大数据技术学习,大数据,flume,分布式,运维
大数据组件-Flume集群环境的启动与验证,大数据技术学习,大数据,flume,分布式,运维

3.切换至slave2,启动slave2上的flume

/opt/flume/bin/flume-ng agent -n a1 -c conf -f /opt/flume/conf/slave.conf -Dflume.root.logger=INFO,console &

大数据组件-Flume集群环境的启动与验证,大数据技术学习,大数据,flume,分布式,运维
大数据组件-Flume集群环境的启动与验证,大数据技术学习,大数据,flume,分布式,运维

4.切换至”从节点1,双击桌面上的“Xfce终端”图标重新打开一个命令窗口。
5.新建立文件slave1.txt,输入如下内容,拷贝至flume的logs目录。

vi slave1.txt

大数据组件-Flume集群环境的启动与验证,大数据技术学习,大数据,flume,分布式,运维

I'm slave1

大数据组件-Flume集群环境的启动与验证,大数据技术学习,大数据,flume,分布式,运维

6.按键Esc,按键”:wq!”保存退出。
7.拷贝文件slave1.txt至flume的logs目录。

cp slave1.txt /root/flume/logs

大数据组件-Flume集群环境的启动与验证,大数据技术学习,大数据,flume,分布式,运维

8.切换至”主节点“,查看master机的启动命令窗口,会看到写入描述。
大数据组件-Flume集群环境的启动与验证,大数据技术学习,大数据,flume,分布式,运维

9.在“主节点”,双击桌面上的“Xfce终端”图标重新打开一个命令窗口。
大数据组件-Flume集群环境的启动与验证,大数据技术学习,大数据,flume,分布式,运维

10.在“主节点”新打开一个命令窗口中查看HDFS日志上传情况列表。

hadoop dfs -lsr /flume

大数据组件-Flume集群环境的启动与验证,大数据技术学习,大数据,flume,分布式,运维

11.查看HDFS列表中日志的内容,即上一步截图中红框中的文件内容。注意:这个日志文件每次上传名会不一样,本次查询文件名为上图红框所示。

hadoop dfs -cat /flume/events/root/events-.1553582353270

大数据组件-Flume集群环境的启动与验证,大数据技术学习,大数据,flume,分布式,运维

12.切换至”从节点2“,双击桌面上的“Xfce终端”图标重新打开一个命令窗口。
13.新建立文件slave2.txt,输入如下内容,拷贝至flume的logs目录。

vi slave2.txt

大数据组件-Flume集群环境的启动与验证,大数据技术学习,大数据,flume,分布式,运维

I'm slave2

大数据组件-Flume集群环境的启动与验证,大数据技术学习,大数据,flume,分布式,运维

14.按键Esc,按键”:wq!”保存退出。
15.拷贝文件slave2.txt至flume的logs目录。
大数据组件-Flume集群环境的启动与验证,大数据技术学习,大数据,flume,分布式,运维

cp slave2.txt /root/flume/logs

16.切换至”主节点“,查看master机的启动命令窗口,会看到写入描述,此时表示新内容写入HDFS完成,然后可查看HDFS里新加的内容。
大数据组件-Flume集群环境的启动与验证,大数据技术学习,大数据,flume,分布式,运维

17.在“主节点”,双击桌面上的“Xfce终端”图标重新打开一个命令窗口。
大数据组件-Flume集群环境的启动与验证,大数据技术学习,大数据,flume,分布式,运维

18.在“主节点”新打开一个命令窗口中查看HDFS日志上传情况列表。

hadoop dfs -lsr /flume

大数据组件-Flume集群环境的启动与验证,大数据技术学习,大数据,flume,分布式,运维

19.查看HDFS日志上传列表中日志的内容,即上一步截图中红框中的文件内容。注意:这个日志文件每次上传名会不一样,本次查询文件名为上图红框所示。

hadoop dfs -cat /flume/events/root/events-.1553583628068

大数据组件-Flume集群环境的启动与验证,大数据技术学习,大数据,flume,分布式,运维
至此,Flume集群环境的启动与验证就到此结束了,如果本篇文章对你有帮助记得点赞收藏+关注~文章来源地址https://www.toymoban.com/news/detail-691081.html

到了这里,关于大数据组件-Flume集群环境的启动与验证的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 一、大数据技术之Flume(简介)

    1.1 Flume定义 Flume是Cloudera提供的一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统。Flume基于流式架构,灵活简单。 1.2 Flume基础架构 Flume组成架构如下图所示。 1.2.1 Agent Agent是一个JVM进程,它以事件的形式将数据从源头送至目的地。 Agent主要有3个部分组成

    2024年02月16日
    浏览(39)
  • 大数据技术之flume——日志收集系统

    大数据需要解决的三个问题:采集、存储、计算。 Apache flume是一个分布式、可靠的、高可用的 海量日志数据采集、聚合和传输系统 ,将海量的日志数据从不同的数据源移动到一个中央的存储系统中。用一句话总结:Flume不生产数据,它只是数据的搬运工。 flume最主要的作用

    2024年02月06日
    浏览(39)
  • 大数据技术——Flume简介&安装配置&使用案例

        Flume是一种 可配置、高可用 的 数据采集 工具,主要用于采集来自各种流媒体的数据(Web服务器的日志数据等)并传输到集中式数据存储区域。     Flume 支持在日志系统中定制 各种数据发送方 ,用于收集数据;并且可以对数据进行简单处理,将其写到可定制的各种数

    2024年02月08日
    浏览(38)
  • 大数据技术之Hadoop(八)——Flume日志采集系统

    目录 素材 一、Flume的概述 1、Flume的认识 2、Flume的运行机制 (1)Source(数据采集器) (2)Channel(缓冲通道) (3)Sink(接收器) 3、Flume的日志采集系统结构 (1)简单结构 (2)复杂结构 二、Flume的基本使用 1、系统要求 2、Flume安装 (1)下载Flume (2)解压 (3)重命名 (4)配置

    2024年02月09日
    浏览(46)
  • 大数据集群搭建全部过程(Vmware虚拟机、hadoop、zookeeper、hive、flume、hbase、spark、yarn)

    1.网关配置(参照文档) 注意事项:第一台虚拟机改了,改为centos 101 ,地址为192.168.181.130 网关依然是192.168.181.2,但是一定要注意,它在D盘的文件名称是Hadoop 101,后面重新搭建的会命名文件夹为hadoop 101,hadoop 102和hadoop 103,然后发到一个总的文件夹hadoop_03里面去 VMnet8的IP地址一定

    2024年02月02日
    浏览(96)
  • 大数据环境搭建 Hadoop+Hive+Flume+Sqoop+Azkaban

    Hadoop:3.1.0 CentOS:7.6 JDK:1.8 这里网上教程很多,就不贴图了 【内存可以尽量大一些,不然Hive运行时内存不够】 创建tools目录,用于存放文件安装包 将Hadoop和JDK的安装包上传上去 创建server目录,存放解压后的文件 解压jdk 配置环境变量 配置免密登录 配置映射,配置ip地址和

    2024年02月09日
    浏览(40)
  • 大数据学习初级入门教程(十七) —— Elasticsearch 8.7.0 完全分布式集群的安装、配置、启动和测试

    好久没用 Elasticsearch 集群了,参考以前写的《大数据学习初级入门教程(八) —— Elasticsearch 7.6.2 单节点的安装、启动和测试_elasticsearch 7.6.2需要专属网络_孟郎郎的博客-CSDN博客》、《大数据学习初级入门教程(九) —— Elasticsearch 7.6.2 伪分布式集群的安装、配置、启动和测

    2024年02月04日
    浏览(40)
  • 【大数据技术】Spark+Flume+Kafka实现商品实时交易数据统计分析实战(附源码)

    需要源码请点赞关注收藏后评论区留言私信~~~ 1)Kafka 是一个非常通用的系统,你可以有许多生产者和消费者共享多个主题Topics。相比之下,Flume是一个专用工具被设计为旨在往HDFS,HBase等发送数据。它对HDFS有特殊的优化,并且集成了Hadoop的安全特性。如果数据被多个系统消

    2024年02月03日
    浏览(49)
  • Flume学习-采集端口数据存入kafka

    启动zookeeper、kafka并创建kafka主题 2、创建flume-kafka.conf配置文件 用于采集socket数据后存入kafka 在flume文件夹中的conf下新建flume-kafka.conf配置文件 设置监听本地端口10050 netcat发送的socket数据,讲采集到的数据存入kafka的hunter主题中 3、启动flume ./bin/flume-ng :启动Flume-ng二进制文件。

    2024年02月03日
    浏览(45)
  • 轻松掌握组件启动之Redis集群扩展秘籍:轻松扩容与缩容,释放高性能潜能

    在我们原始的集群基础上,我们决定增加一台主节点(8007)和一台从节点(8008),这样新增的节点将会在下图中以虚线框的形式显示在集群中。 1: 首先,在 /usr/local/redis-cluster 目录下创建两个文件夹,分别命名为 8007 和 8008。接下来,将 8001 文件夹下的 redis.conf 文件复制到 8007 和

    2024年02月08日
    浏览(51)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包