flume基本安装与使用

这篇具有很好参考价值的文章主要介绍了flume基本安装与使用。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

解压flume包 到/usr/local/src/目录下 

[root@hadoopha01 pack]# tar -zxvf apache-flume-1.7.0-bin.tar.gz -C /usr/local/src/

配置flume环境变量

#FLUME_HOME
export FLUME_HOME=/usr/local/src/flume
export PATH=$PATH:$FLUME_HOME/bin

修改flume中flume-env.sh文件,先将修改名称为flume-env.sh,或者直接新建一个

其中配置jdk

export JAVA_HOME=/usr/local/src/jdk

flume,安装成功

查看版本

[root@hadoopha01 conf]# flume-ng version

flume的基本使用

使用flume传输数据至hdfs中

查询dfs中有那些文件

[root@hadoopha01 conf]# hdfs dfs -ls /

创建一个flume文件夹

[root@hadoopha01 conf]# hdfs dfs -mkdir  /flume

创建一个job目录用于存放flume配置文件

mkdir job
[root@hadoopha01 job]# vi hdfs_k.conf 

文件内容

a1.sources = r1
a1.channels = c1
a1.sinks = k1

a1.sources.r1.type = netcat
a1.sources.r1.bind = 主机名
a1.sources.r1.port = 自己设置端口号

a1.sinks.k1.type = hdfs
a1.sinks.k1.hdfs.path = hdfs://主机名称+hdfs端口号/flume/events/%y-%m-%d/%H/%M/%S
a1.sinks.k1.hdfs.filePrefix = events-

#是否是产生新目录,每十分钟产生一个新目录,一般控制的目录方面。
#2017-12-12 -->
#2017-12-12 -->%H%M%S

a1.sinks.k1.hdfs.round = true
a1.sinks.k1.hdfs.roundValue = 10
a1.sinks.k1.hdfs.roundUnit = second

a1.sinks.k1.hdfs.useLocalTimeStamp=true

#是否产生新文件。
a1.sinks.k1.hdfs.rollInterval=10
a1.sinks.k1.hdfs.rollSize=10
a1.sinks.k1.hdfs.rollCount=3

a1.channels.c1.type=memory

a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

一个终端启用文件

[root@hadoopha01 job]# flume-ng agent  -f hdfs_k.conf  -n a1

另一个终端传输文件

[root@hadoopha01 job]# nc 主机名 自己设置端口号

 文章来源地址https://www.toymoban.com/news/detail-410790.html

到了这里,关于flume基本安装与使用的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 在Windows下的flume 安装,部署及和kafka组合使用

    一,Windows下配置环境变量 此电脑-右键属性-系统-高级系统设置-环境变量 (1) 环境变量名:FLUME_HOME 变量值:就是安装的flume的路径 例如我自己的是:FLUME_HOME;E:flumeapache-flume-1.9.0-bin (2)在path变量中添加 %FLUME_HOME%conf;%FLUME_HOME%bin;然后依次保存我们所做的修改即可。 编

    2024年02月01日
    浏览(74)
  • 【远程工具】- WindTerm 下载、安装、使用、配置【Telnet/ssh/Serial】-免安装、解压即用

    在远程终端工具中,secureCrt 和 XShell 是两款比较有名的远程工具,但收费。上一篇文章就介绍了一款免费软件 MobaXterm ,但菜单都是英文的,而且终端显示编码不支持 GB-2312 ,导致中文乱码。今天就再推荐一款自由(free)软件 —— WindTerm ,说它是自由软件,是因为它在Github上开

    2024年02月05日
    浏览(50)
  • 【五一创作】【远程工具】- Tabby 下载、安装、使用、配置【ssh/Serial】-免安装、解压即用

    在远程终端工具中,secureCrt 和 XShell 是两款比较有名的远程工具,但收费。前面文章就介绍过 MobaXterm 和 WindTerm ,这两款远程软件都功能很强大,可以满足我们使用远程软件的大部分需求,但是,有更多的选择总是好的,今天再介绍一个同样呼声很高的自由(free)软件—— Ta

    2024年02月04日
    浏览(50)
  • (二十)大数据实战——Flume数据采集的基本案例实战

    本节内容我们主要介绍几个Flume数据采集的基本案例,包括监控端口数据、实时监控单个追加文件、实时监控目录下多个新文件、实时监控目录下的多个追加文件等案例。完成flume数据监控的基本使用。 监控端口数据 ①需求说明 - 使用 Flume 监听一个端口,收集该端口数据,并

    2024年02月10日
    浏览(43)
  • Linux(Centos7)基本操作(1):文件压缩和解压(tar、zip)

    安装命令 yum install -y unzip zip 压缩文件: 基本格式: zip [参数] [压缩后的文件名] [打包的目录路径] 压缩文件:xxx是当前路径中需要压缩的文件夹: zip -r xxx.zip xxx/ ; 比如需要压缩文件夹 a 下所有的内容,就执行 zip -r a.zip a ; 如果是将其他目录下的文件压缩到当前路径,xxx前面

    2024年02月08日
    浏览(55)
  • CentOS安装Flume

            Flume is a distributed, reliable, and available service for efficiently collecting, aggregating, and moving large amounts of log data. It has a simple and flexible architecture based on streaming data flows. It is robust and fault tolerant with tunable reliability mechanisms and many failover and recovery mechanisms. It uses a simple extensib

    2024年01月21日
    浏览(32)
  • flume的安装与配置

    在安装前先确保Hadoop是启动状态。 自行去官网下载即可Download — Apache Flume,我下载的是flume1.11.0  上传后解压 3.进入flume目录,修改conf下的flume-env.sh,配置JAVA_HOME 以下是Nginx的一些基本命令: Nginx服务器默认占用80端口,开启Nginx后去浏览器输入虚拟机ip:80查看如果有如下页面

    2024年02月08日
    浏览(40)
  • 安装配置flume(超详细)

    安装配置flume 1、下载flume的gz包 (百度网盘连接:链接:https://pan.baidu.com/s/1VeelyVBttwLMRS-2LGzp8w?pwd=wanh  提取码:wanh(永久生效)) 2、解压:tar -zxvf apache-flume-1.7.0-bin.tar.gz 3、为了方便和美观,将其改名为flume。 mv apache-flume-1.7.0-bin/ flume 4、查看执行文件 5、配置环境: [root@H

    2023年04月08日
    浏览(32)
  • 十、flume的安装

      export FLUME_HOME=/usr/local/flume export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HIVE_HOME/bin:$HBASE_HOME/bin:$SQOOP_HOME/bin:$PIG_HOME/bin:$FLUME_HOME/bin  a2.sources = r1 a2.channels = c1 a2.sinks = k1 a2.sources.r1.type = exec  a2.sources.r1.command = tail -F /simple/data.txt a2.channels.c1.type = memory a2.channels.c1.capacit

    2024年02月12日
    浏览(30)
  • Flume(二)【Flume 进阶使用】

            学数仓的时候发现 flume 落了一点,赶紧补齐。 Source 在往 Channel 发送 数据之前会开启一个 Put 事务: doPut:将批量数据写入临时缓冲区 putList(当 source 中的数据达到 batchsize 或者 超过特定的时间就会发送数据) doCommit:检查 channel 内存队列是否足够合并 doRollback:如

    2024年02月21日
    浏览(42)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包