Flume的安装
下载Flume,可以选择去官网下载,我选择的版本apache-flume-1.9.0-bin.tar.gz
点击这里哟
将压缩包上传到/usr/local/software上面
解压文件
tar -zxvf /usr/local/software/apache-flume-1.9.0-bin.tar.gz -C /usr/local/
修改文件夹名称
mv apache-flume-1.9.0-bin flume
进入flume/conf目录下修改文件名字
cd flume/conf
mv flume-env.sh.template flume-env.sh
修改 flume-env.sh的配置,注意前面的#号要去掉
vim flume-env.sh
export JAVA_HOME=/usr/local/jdk1.8
环境变量的配置
其实环境变量的配置方法有很多,说麻烦也麻烦,说简单也简单,笔者把网上的资料整理了一些
1、系统环境变量
系统环境变量对全部的用户生效,设置系统环境变量有三种方法。
1 在/etc/profile文件中设置。
用户登录时执行/etc/profile文件中设置系统的环境变量。但是,Linux不建议在/etc/profile文件中设置系统环境变量。
2在/etc/profile.d目录中增加环境变量脚本文件,这是Linux推荐的方法。
/etc/profile在每次启动时会执行/etc/profile.d下全部的脚本文件。/etc/profile.d比/etc/profile好维护,不想要什么变量直接删除/etc/profile.d下对应的 shell 脚本即可。
3 在/etc/bashrc文件中设置环境变量。
该文件配置的环境变量将会影响全部用户使用的bash shell。但是,Linux也不建议在/etc/bashrc文件中设置系统环境变量。
2、用户环境变量
用户环境变量只对当前用户生效,设置用户环境变量也有多种方法。
在用户的主目录,有几个特别的文件,用ls是看不见的,用 ls .bash_* 可以看见。
1 bash_profile(推荐首选)
当用户登录时执行,每个用户都可以使用该文件来配置专属于自己的环境变量。
2 bashrc
当用户登录时以及每次打开新的Shell时该文件都将被读取,不推荐在里面配置用户专用的环境变量,因为每开一个Shell,该文件都会被读取一次,效率肯定受影响。
笔者是在bashrc下配置的,因为笔者只有一个root用户,而且之前有太多的环境变量配置在这里面了
vim ~/.bashrc
# FLUME_HOME
export FLUME_HOME=/usr/local/flume
export PATH=$PATH:$FLUME_HOME/bin
source ~/.bashrc
测试flume 在任意目录下输入【flume-ng version】查看flume是否安装成功
flume-ng version
FLuem的配置
配置文件exapmle.conf
首先我们进入到flume的conf目录下
cd /usr/local/flume/conf
接着创建一个名为example.conf的文件,并且向里面写入配置项
touch example.conf
vim example.conf
#写入的配置项
# example.conf: A single-node Flume configuration
# Name the components on this agent 三大组件的名称
a1.sources = r1
a1.sinks = k1
a1.channels = c1
# Describe/configure the source 第一个sources来源的类型 第二个绑定的IP 第三个是输出端口
a1.sources.r1.type = netcat
a1.sources.r1.bind = master
a1.sources.r1.port = 44444
# Describe the sink sink名词水池的意思
a1.sinks.k1.type = logger
# Use a channel which buffers events in memory 管道组件的配置
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100
# Bind the source and sink to the channel 这一步是为了将三个组件关联起来
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1
运行第一个demo 并测试
运行命令
flume-ng agent --name a1 --conf conf --conf-file /usr/local/flume/conf/example.conf
使用telnet命令测试,刚才打开的shell终端不要关闭,在开一个新端口输入命令,连接成功后输入信息即可,有的虚拟机节点化安装可能没有安装telnet命令,这里推荐去这个博主下面查看安装命令
telnet安装
telnet master 44444
可以看到我们的flume程序已经打印出来刚才输入的信息了
总结
flume的安装配置没有什么太大问题后续,有什么问题在官网一查即可,后续还要安装tomcat文章来源:https://www.toymoban.com/news/detail-751405.html
还有,我是说如果可以,可以给我一个赞吗文章来源地址https://www.toymoban.com/news/detail-751405.html
到了这里,关于Flume环境搭建及使用手册的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!