Flume 简介
Flume是Cloudera提供的一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统,Flume支持在日志系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接受方(可定制)的能力。
当前Flume有两个版本Flume 0.9X版本的统称Flume-og,Flume1.X版本的统称Flume-ng。由于Flume-ng经过重大重构,与Flume-og有很大不同,使用时请注意区分。
数据采集我们使用Flume。
一,Flume下载和安装
1)登录Flume官网,下载 apache-flume-1.9.0-bin.tar.gz
1.在官网页面单击download
2.在download页面中,单击archive repository
3.在下图页面单击 1.9.0/,
4.单击 apache-flume-1.9.0-bin.tar.gz,开始下载
2)解压文件到 /opt 目录下
1.拖动apache-flume-1.9.0-bin.tar.gz文件到FinalShell的master中的root目录下,它就会上传到该目录下,如下图所示:
2.在master界面下,输入命令:tar -zxvf apache-flume-1.9.0-bin.tar.gz -C /opt
3)改名为 flume
1.改名
进入opt目录,输入命令:cd /opt
将文件夹apache-flume-1.9.0-bin改名为flume,输入命令:mv apache-flume-1.9.0-bin flume
2.查看改名是否成功
查看opt目录下的文件名,输入命令:ls
二,Flume配置
1)修改 /conf/ 目录下的 flume-env.sh 文件
进入/opt/flume/conf/目录下,输入命令:cd /opt/flume/conf/
拷贝flume-env.sh.template并重命名为flume-env.sh在该文件夹下,输入命令:cp flume-env.sh.template flume-env.sh
查看文件是否拷贝成功,输入命令:ls
编辑 flume-env.sh 文件,输入命令: vi flume-env.sh
按i键进入插入模式,添加内容为(自己jdk的安装路径):export JAVA_HOME=/usr/java/latest
按Esc键退出插入模式,输入英文状态下的 :wq,按回车存盘退出
2)配置环境变量
1.打开环境变量配置文件,输入命令:vi /etc/profile
,增添以下内容:
# Flume环境变量
export FLUME_HOME=/opt/flume
export PATH=$FLUME_HOME/bin:$PATH
2.刷新一下环境变量配置,输入命令:source /ect/profile
文章来源:https://www.toymoban.com/news/detail-735660.html
三,测试安装是否成功
验证安装是否成功,输入命令:flume-ng version
文章来源地址https://www.toymoban.com/news/detail-735660.html
到了这里,关于大数据:Flume安装部署和配置的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!