在Windows下的flume 安装,部署及和kafka组合使用

这篇具有很好参考价值的文章主要介绍了在Windows下的flume 安装,部署及和kafka组合使用。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

注意:如果是做kafka链接flume实验的小伙伴,可以直接从第五步开始

一,Windows下配置环境变量

此电脑->右键属性->系统->高级系统设置->环境变量

(1) 环境变量名:FLUME_HOME

变量值:就是安装的flume的路径

例如我自己的是:FLUME_HOME;E:\flume\apache-flume-1.9.0-bin

(2)在path变量中添加 %FLUME_HOME%\conf;%FLUME_HOME%\bin;然后依次保存我们所做的修改即可。 编辑 apache-flume-1.9.0-bin\conf 下的flume-env.sh(如果没有,复制flume-env.sh.template重命名为flume-env.sh) 在最后行输入:export JAVA_HOME = 安装的jdk路径

(3)打开cmd输入:flume-ng version,显示相对应的版本号,则flume安装成功

在Windows下的flume 安装,部署及和kafka组合使用

二,测试运行flume

我们可以配置一个agent,然后保存为example.conf文件,把它放在apache-flume-1.9.0-bin\conf目录下面

# example.conf: A single-node Flume configuration

# Name the components on this agent
a1.sources = r1
a1.sinks = k1
a1.channels = c1

# Describe/configure the source
a1.sources.r1.type = netcat
a1.sources.r1.bind = localhost
a1.sources.r1.port = 44444

# Describe the sink
a1.sinks.k1.type = logger

# Use a channel which buffers events in memory
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100

# Bind the source and sink to the channel
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

接下来就是运行这个agent了,我们可以直接在cmd的格式下进入conf文件夹,出现下面两个效果,则说明成功运行了flume

命令:flume-ng agent --conf ../conf --conf-file ../conf/example.conf --name a1 -property flume.root.logger=INFO,console

在Windows下的flume 安装,部署及和kafka组合使用

在Windows下的flume 安装,部署及和kafka组合使用

 运行完后,我们可以看到localhost端口号为44444,可以通过telent客户端测试一下flume

注意:Windows下开启Telnet服务

步骤:控制面板->程序->程序和功能->启用或关闭Windows功能->Telnet客户端   勾选 确定即可。

三,Telnet客户端测试

打开一个新的cmd 进行:telnet localhost 44444

当我们在telnet客户端,输入一些信息后,flume端会监听到并打印日志

在Windows下的flume 安装,部署及和kafka组合使用

在Windows下的flume 安装,部署及和kafka组合使用

四 ,安装过程中不显示版本号,报错,出现下面这样的情况

  Did not find E:\flume\apache-flume-1.9.0-bin\conf\flume-env.ps1
  Test-Path : 路径中具有非法字符。

解决方法:进入conf/flume-env.ps1下,然后在该文件中ctrl+F,发现Test-Path共出现在三个地方:GetHadoopHome、GetHbaseHome、GetHiveHome。尝试注释掉这些代码行(339-405)或直接删除,再次运行后发现flume可以正常显示version了。
 

五,flume和kafka组合使用

(1)打开第1个cmd窗口,在kafka的解压路径下,启动Zookeeper服务: 

 .\bin\windows\zookeeper-server-start.bat .\config\zookeeper.Properties

(2)打开第2个cmd窗口,在kafka的解压路径下,启动Kafka服务:

  .\bin\windows\kafka-server-start.bat .\config\server.properties

(3)打开第3个cmd窗口,在kafka的解压路径下,创建一个名为tests的Topic:

.\bin\windows\kafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic tests

(4)我们在Flume的安装目录的conf子目录下创建一个配置文件kafka.conf,内容如下:

#设置名称
a1.sources=r1
a1.sinks=k1
a1.channels=c1

#配置Source
a1.sources.r1.type = org.apache.flume.source.kafka.KafkaSource
a1.sources.r1.batchSize = 500
a1.sources.r1.batchDurationMillis = 2000
a1.sources.r1.kafka.bootstrap.servers = localhost:9092
a1.sources.r1.kafka.topics = tests    

#配置Sink
a1.sinks.k1.type = logger

#配置channels
a1.channels.c1.type=memory
a1.channels.c1.capacity=500000
a1.channels.c1.transactionCapacity=600

#绑定sink source到channels上
a1.sources.r1.channels=c1
a1.sinks.k1.channel=c1

(5)打开第4个cmd窗口,在flume的解压路径下,启动Flume:

 .\bin\flume-ng.cmd agent --conf ./conf --conf-file ./conf/kafka.conf --name a1 -property flume.root.logger=INFO,console

(6)打开第5个cmd窗口,执行以下命令:

  telnet localhost 44444

注意:Windows下开启Telnet服务

步骤:控制面板->程序->程序和功能->启用或关闭Windows功能->Telnet客户端   勾选 确定即可。

执行上面命令以后,我们可以在该窗口内用键盘任意输入一些单词,比如“this is my valentines”。这个单词会发送给Flume,然后,Flume发送给Kafka。

(7)打开第6个cmd窗口,在flume的解压路径下,执行如下命令:

 .\bin\windows\kafka-console-consumer.bat --bootstrap-server localhost:9092 --topic tests --from-beginning

这个时候如果你的屏幕上显示“this is my valentines”这几个单词,就说明kafka成功收到的数据,证明你的flume和kafka操作没有出现问题。

注意:安装Python第三方包,可以使用国内豆瓣源下载,这样会快一些文章来源地址https://www.toymoban.com/news/detail-428771.html

python -m pip install (库名) --force-reinstall -i https://pypi.doubanio.com/simple/ pip

到了这里,关于在Windows下的flume 安装,部署及和kafka组合使用的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • windows下的git 安装与使用以及可能遇到问题

    一、安装部分: 首先关于git安装,直接从官网下载即可下载地址为:Git - Downloads (git-scm.com) 安装上面没什么需要注意的,一路next下来即可。 二、环境配置: 1.安装好之后设置姓名和邮箱 (注意这里的邮箱和姓名为github官网GitHub注册所使用的邮箱以及用户名) 设置方式为使

    2024年03月23日
    浏览(46)
  • vue3中状态管理库pinia的安装和使用方法介绍及和vuex的区别

    Pinia 与 Vuex 一样,是作为 Vue 的“状态存储库”,用来实现 跨页面/组件 形式的数据状态共享。它允许你跨组件或页面共享状态。如果你熟悉组合式 API 的话,你可能会认为可以通过一行简单的 export const state = reactive({}) 来共享一个全局状态。 当该数据、方法在很多地方都需要

    2024年01月20日
    浏览(43)
  • 大数据:Flume安装部署和配置

    Flume是Cloudera提供的一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统,Flume支持在日志系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接受方(可定制)的能力。 当前Flume有两个版本Flume 0.9X版本的统称

    2024年02月06日
    浏览(34)
  • flume1.11.0安装部署

    上传;  解压; 进入conf目录,修改 flume-env.sh,配置 JAVA_HOME; 安装nginx; \\\"yum  update\\\"命令最后报错了,但好像没有影响nginx的安装,估计是版本兼容性问题,如下图; nginx命令; 启动nginx后,访问80端口; nginx网络80端口访问日志文件保存位置; 注意:网上说“在hadoop3.x之前需

    2024年02月09日
    浏览(43)
  • Windows下安装使用Kafka(使用Kafka内置的ZooKeeper)

    Kafka2.8版本才开始自带了Zookeeper,所以注意下版本 kafka官网:https://kafka.apache.org kafka配置快速入门:https://kafka.apache.org/quickstart kafka下载页面:https://kafka.apache.org/downloads 下载完成后解压到当前目录 修改config下的zookeeper.properties 修改config下的server.properties 进入 /bin/windows 下 使用

    2024年02月06日
    浏览(40)
  • Windows安装和使用kafka

    由于kafka依赖jdk和zookeeper,安装kafka之前需要先安装jdk和zookeeper,也可以使用kafka自带的zookeeper。安装jdk可以参考:Windows和Linux安装jdk,此处使用kafka自带的zookeeper,不单独安装。 下面在Windows系统中安装kafka时使用的ip地址是192.168.10.188,这是我自己电脑的ip。 修改zk和kafka的配

    2024年02月01日
    浏览(43)
  • 大数据之使用Flume监听端口采集数据流到Kafka

    前言 题目: 一、读题分析 二、处理过程   1.先在Kafka中创建符合题意的Kafka的topic  创建符合题意的Kafka的topic 2.写出Flume所需要的配置文件 3.启动脚本然后启动Flume监听端口数据并传到Kafka 启动flume指令 启动脚本,观察Flume和Kafka的变化 三、重难点分析 总结          本题

    2024年02月08日
    浏览(58)
  • Kafka的安装和使用(Windows中)

    1.安装Kafka 1.1下载安装包 通过百度网盘分享的文件:复制链接打开「百度网盘APP 即可获取」  链接:https://pan.baidu.com/s/1vC6Di3Pml6k1KMbnK0OE1Q?pwd=huan  提取码:huan 也可以访问官网,下载kafka2.4.0的安装文件 1.2解压到“D:”目录下 因为Kafka的运行依赖于 Zookeeper,因此,还需要下并

    2024年02月01日
    浏览(45)
  • (十九)大数据实战——Flume数据采集框架安装部署

    本节内容我们主要介绍一下大数据数据采集框架flume的安装部署,Flume 是一款流行的开源分布式系统,用于高效地采集、汇总和传输大规模数据。它主要用于处理大量产生的日志数据和事件流。Flume 支持从各种数据源(如日志文件、消息队列、数据库等)实时采集数据,并将

    2024年02月10日
    浏览(45)
  • Windows下安装与使用Kafka(使用Kafka内置的ZooKeeper图文结合版)

    1.安装JDK并配置好对应的环境变量 ● 新建一个文件夹jre ● 1.环境变量如下-安装的路径 ● 2.点击path新建 ● 3.建一个系统变量 1.下载安装包Apache Zookeeper 下载 2.解压并进入Zookeeper目录 ● 2.1将conf下的zoo_sample.cfg重命名为 zoo.cfg ● 2.2 打开zoo.cfg,修改数据存放位置dataDir dataDir=D

    2024年02月13日
    浏览(43)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包