Flume环境搭建及使用手册

这篇具有很好参考价值的文章主要介绍了Flume环境搭建及使用手册。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

Flume的安装

  1. 下载Flume,可以选择去官网下载,我选择的版本apache-flume-1.9.0-bin.tar.gz

点击这里哟

  1. 将压缩包上传到/usr/local/software上面

flume搭建教程,flume,linux,服务器,apache,hadoop,Powered by 金山文档
  1. 解压文件

tar -zxvf /usr/local/software/apache-flume-1.9.0-bin.tar.gz -C /usr/local/
flume搭建教程,flume,linux,服务器,apache,hadoop,Powered by 金山文档
  1. 修改文件夹名称

mv apache-flume-1.9.0-bin flume
flume搭建教程,flume,linux,服务器,apache,hadoop,Powered by 金山文档
  1. 进入flume/conf目录下修改文件名字

cd flume/conf
 mv flume-env.sh.template  flume-env.sh
flume搭建教程,flume,linux,服务器,apache,hadoop,Powered by 金山文档
  1. 修改 flume-env.sh的配置,注意前面的#号要去掉

vim flume-env.sh
export JAVA_HOME=/usr/local/jdk1.8
  1. 环境变量的配置

其实环境变量的配置方法有很多,说麻烦也麻烦,说简单也简单,笔者把网上的资料整理了一些

1、系统环境变量

系统环境变量对全部的用户生效,设置系统环境变量有三种方法。

  • 1 在/etc/profile文件中设置。

用户登录时执行/etc/profile文件中设置系统的环境变量。但是,Linux不建议在/etc/profile文件中设置系统环境变量。

  • 2在/etc/profile.d目录中增加环境变量脚本文件,这是Linux推荐的方法。

/etc/profile在每次启动时会执行/etc/profile.d下全部的脚本文件。/etc/profile.d比/etc/profile好维护,不想要什么变量直接删除/etc/profile.d下对应的 shell 脚本即可。

  • 3 在/etc/bashrc文件中设置环境变量。

该文件配置的环境变量将会影响全部用户使用的bash shell。但是,Linux也不建议在/etc/bashrc文件中设置系统环境变量。

2、用户环境变量

用户环境变量只对当前用户生效,设置用户环境变量也有多种方法。

在用户的主目录,有几个特别的文件,用ls是看不见的,用 ls .bash_* 可以看见。

  • 1 bash_profile(推荐首选)

当用户登录时执行,每个用户都可以使用该文件来配置专属于自己的环境变量。

  • 2 bashrc

当用户登录时以及每次打开新的Shell时该文件都将被读取,不推荐在里面配置用户专用的环境变量,因为每开一个Shell,该文件都会被读取一次,效率肯定受影响。

笔者是在bashrc下配置的,因为笔者只有一个root用户,而且之前有太多的环境变量配置在这里面了

vim ~/.bashrc
# FLUME_HOME
export FLUME_HOME=/usr/local/flume
export PATH=$PATH:$FLUME_HOME/bin
source ~/.bashrc
  1. 测试flume 在任意目录下输入【flume-ng version】查看flume是否安装成功

flume-ng version
flume搭建教程,flume,linux,服务器,apache,hadoop,Powered by 金山文档

FLuem的配置

  1. 配置文件exapmle.conf

首先我们进入到flume的conf目录下

cd /usr/local/flume/conf

接着创建一个名为example.conf的文件,并且向里面写入配置项

touch example.conf
vim example.conf
#写入的配置项
# example.conf: A single-node Flume configuration

# Name the components on this agent 三大组件的名称
a1.sources = r1
a1.sinks = k1
a1.channels = c1

# Describe/configure the source 第一个sources来源的类型 第二个绑定的IP 第三个是输出端口
a1.sources.r1.type = netcat
a1.sources.r1.bind = master
a1.sources.r1.port = 44444

# Describe the sink sink名词水池的意思
a1.sinks.k1.type = logger

# Use a channel which buffers events in memory 管道组件的配置
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100

# Bind the source and sink to the channel 这一步是为了将三个组件关联起来
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1
flume搭建教程,flume,linux,服务器,apache,hadoop,Powered by 金山文档
  1. 运行第一个demo 并测试

flume搭建教程,flume,linux,服务器,apache,hadoop,Powered by 金山文档

运行命令

flume-ng agent --name a1  --conf conf --conf-file /usr/local/flume/conf/example.conf 
flume搭建教程,flume,linux,服务器,apache,hadoop,Powered by 金山文档

使用telnet命令测试,刚才打开的shell终端不要关闭,在开一个新端口输入命令,连接成功后输入信息即可,有的虚拟机节点化安装可能没有安装telnet命令,这里推荐去这个博主下面查看安装命令

telnet安装

telnet master 44444
flume搭建教程,flume,linux,服务器,apache,hadoop,Powered by 金山文档

可以看到我们的flume程序已经打印出来刚才输入的信息了

flume搭建教程,flume,linux,服务器,apache,hadoop,Powered by 金山文档

总结

flume的安装配置没有什么太大问题后续,有什么问题在官网一查即可,后续还要安装tomcat

还有,我是说如果可以,可以给我一个赞吗文章来源地址https://www.toymoban.com/news/detail-751405.html

到了这里,关于Flume环境搭建及使用手册的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 二百一十一、Flume——Flume实时采集Linux中的Hive日志写入到HDFS中(亲测、附截图)

    为了实现用Flume实时采集Hive的操作日志到HDFS中,于是进行了一场实验 [root@hurys23 conf]# find / -name hive.log /home/log/hive312/hive.log [root@hurys23 conf]# vi  flume-file-hdfs.conf # Name the components on this agent a2.sources = r2 a2.sinks = k2 a2.channels = c2 # Describe/configure the source a2.sources.r2.type = exec a2.sources

    2024年02月04日
    浏览(64)
  • 【ETL工具】本地环境IDEA远程DEBUG调试Flume代码

    🪁🍁🪁🍁🪁🍁🪁🍁 感谢点赞和关注 ,每天进步一点点!加油! 🪁🍁🪁🍁🪁🍁🪁🍁 目录 🦄 个人主页——🎐个人主页 🎐✨🍁 一、问题说明 二、操作步骤 2.1 idea创建远程调试 Flume 自定义 HDFS-Sink,远程服务器进行部署flume打包好后的代码,本地监控远程flume程序

    2024年02月08日
    浏览(42)
  • flume环境配置-传输Hadoop日志(namenode或datanode日志)

    解压文件 修改文件名  配置环境变量 执行flume-ng version  将flume-env.sh.template改名为flume-env.sh, 并修改其配置 启动Flume传输Hadoop日志 启动flume  解压文件 修改文件名  配置环境变量 执行flume-ng version  将flume-env.sh.template改名为flume-env.sh, 并修改其配置          在flume/conf目

    2024年02月09日
    浏览(56)
  • 深度学习服务器(Linux)开发环境搭建教程

    当你拿到一台服务器的使用权时,最头疼的莫过于登陆服务区并配置开发环境。本文将从0开始,讲述一台刚申请的服务器远程登陆并配置开发环境的全过程。希望对你有所帮助 打开MobaXterm软件,创建一个新的Session,选择SSH登陆。其中Remote host填服务器的IP地址,Specify userna

    2024年02月05日
    浏览(55)
  • flume基本安装与使用

    解压flume包 到/usr/local/src/目录下  配置flume环境变量 修改flume中flume-env.sh文件,先将修改名称为flume-env.sh,或者直接新建一个 其中配置jdk flume,安装成功 查看版本 flume的基本使用 使用flume传输数据至hdfs中 查询dfs中有那些文件 创建一个flume文件夹 创建一个job目录用于存放flum

    2023年04月11日
    浏览(36)
  • Flume 简介及基本使用

    Apache Flume 是一个分布式,高可用的数据收集系统。它可以从不同的数据源收集数据,经过聚合后发送到存储系统中,通常用于日志数据的收集。Flume 分为 NG 和 OG (1.0 之前) 两个版本,NG 在 OG 的基础上进行了完全的重构,是目前使用最为广泛的版本。下面的介绍均以

    2024年02月07日
    浏览(36)
  • Flume基本使用--mysql数据输出

    在MySQL中建立数据库school,在数据库中建立表student。SQL语句如下: 请使用Flume实时捕捉MySQL数据库中的记录更新,一旦有新的记录生成,就捕获该记录并显示到控制台。可以使用如下SQL语句模拟MySQL数据库中的记录生成操作。 要求: 安装好flume-ng-sql-source-1.5.2.jar以及mysql-conn

    2024年02月04日
    浏览(31)
  • 大数据技术——Flume简介&安装配置&使用案例

        Flume是一种 可配置、高可用 的 数据采集 工具,主要用于采集来自各种流媒体的数据(Web服务器的日志数据等)并传输到集中式数据存储区域。     Flume 支持在日志系统中定制 各种数据发送方 ,用于收集数据;并且可以对数据进行简单处理,将其写到可定制的各种数

    2024年02月08日
    浏览(39)
  • 大数据集群搭建全部过程(Vmware虚拟机、hadoop、zookeeper、hive、flume、hbase、spark、yarn)

    1.网关配置(参照文档) 注意事项:第一台虚拟机改了,改为centos 101 ,地址为192.168.181.130 网关依然是192.168.181.2,但是一定要注意,它在D盘的文件名称是Hadoop 101,后面重新搭建的会命名文件夹为hadoop 101,hadoop 102和hadoop 103,然后发到一个总的文件夹hadoop_03里面去 VMnet8的IP地址一定

    2024年02月02日
    浏览(100)
  • Sqoop和Flume简单安装配置使用详细解答

    了解Sqoop和Flume工具的安装、配置和基本使用方法。Sqoop用于结构化数据和Hadoop之间的批量数据迁移,Flume用于日志数据的收集、聚合和移动。包括安装步骤、配置环境变量、命令示例等内容。

    2024年02月08日
    浏览(43)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包