十、flume的安装

这篇具有很好参考价值的文章主要介绍了十、flume的安装。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

1.解压

十、flume的安装,Ubuntu,flume,大数据

2.改名

十、flume的安装,Ubuntu,flume,大数据

3.修改权限

 十、flume的安装,Ubuntu,flume,大数据

4.编辑环境变量并source

export FLUME_HOME=/usr/local/flume
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HIVE_HOME/bin:$HBASE_HOME/bin:$SQOOP_HOME/bin:$PIG_HOME/bin:$FLUME_HOME/bin 

 5.配置

十、flume的安装,Ubuntu,flume,大数据

十、flume的安装,Ubuntu,flume,大数据

 6.查看版本

十、flume的安装,Ubuntu,flume,大数据

 7.启动Hadoop

十、flume的安装,Ubuntu,flume,大数据

8.创建smple文件夹在此文件夹下创建a2.conf

a2.sources = r1
a2.channels = c1
a2.sinks = k1

a2.sources.r1.type = exec 
a2.sources.r1.command = tail -F /simple/data.txt

a2.channels.c1.type = memory
a2.channels.c1.capacity = 1000
a2.channels.c1.transactionCapacity = 100

a2.sinks.k1.type = hdfs
a2.sinks.k1.hdfs.path = hdfs://master:9000/flume/date_hdfs.txt
a2.sinks.k1.hdfs.filePrefix = events-
a2.sinks.k1.hdfs.fileType = DataStream

a2.sources.r1.channels = c1
a2.sinks.k1.channel = c1

 data.txt

(a,1,2,3,4.2,9.8)
(a,3,0,5,3.5,2.1)
(b,7,9,9,-,-)
(a,7,9,9,2.6,6.2)
(a,1,2,5,7.7,5.9)
(a,1,2,3,1.4,0.2)

9.启动flume

十、flume的安装,Ubuntu,flume,大数据

flume-ng agent -n a2 -f /simple/a2.conf -c ../conf/ -Dflume.root.logger=INFO,console

 10. 查看

十、flume的安装,Ubuntu,flume,大数据文章来源地址https://www.toymoban.com/news/detail-663667.html

到了这里,关于十、flume的安装的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • CentOS安装Flume

            Flume is a distributed, reliable, and available service for efficiently collecting, aggregating, and moving large amounts of log data. It has a simple and flexible architecture based on streaming data flows. It is robust and fault tolerant with tunable reliability mechanisms and many failover and recovery mechanisms. It uses a simple extensib

    2024年01月21日
    浏览(30)
  • 十、flume的安装

      export FLUME_HOME=/usr/local/flume export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HIVE_HOME/bin:$HBASE_HOME/bin:$SQOOP_HOME/bin:$PIG_HOME/bin:$FLUME_HOME/bin  a2.sources = r1 a2.channels = c1 a2.sinks = k1 a2.sources.r1.type = exec  a2.sources.r1.command = tail -F /simple/data.txt a2.channels.c1.type = memory a2.channels.c1.capacit

    2024年02月12日
    浏览(29)
  • flume的安装与配置

    在安装前先确保Hadoop是启动状态。 自行去官网下载即可Download — Apache Flume,我下载的是flume1.11.0  上传后解压 3.进入flume目录,修改conf下的flume-env.sh,配置JAVA_HOME 以下是Nginx的一些基本命令: Nginx服务器默认占用80端口,开启Nginx后去浏览器输入虚拟机ip:80查看如果有如下页面

    2024年02月08日
    浏览(39)
  • 安装配置flume(超详细)

    安装配置flume 1、下载flume的gz包 (百度网盘连接:链接:https://pan.baidu.com/s/1VeelyVBttwLMRS-2LGzp8w?pwd=wanh  提取码:wanh(永久生效)) 2、解压:tar -zxvf apache-flume-1.7.0-bin.tar.gz 3、为了方便和美观,将其改名为flume。 mv apache-flume-1.7.0-bin/ flume 4、查看执行文件 5、配置环境: [root@H

    2023年04月08日
    浏览(31)
  • flume基本安装与使用

    解压flume包 到/usr/local/src/目录下  配置flume环境变量 修改flume中flume-env.sh文件,先将修改名称为flume-env.sh,或者直接新建一个 其中配置jdk flume,安装成功 查看版本 flume的基本使用 使用flume传输数据至hdfs中 查询dfs中有那些文件 创建一个flume文件夹 创建一个job目录用于存放flum

    2023年04月11日
    浏览(32)
  • flume1.11.0安装部署

    上传;  解压; 进入conf目录,修改 flume-env.sh,配置 JAVA_HOME; 安装nginx; \\\"yum  update\\\"命令最后报错了,但好像没有影响nginx的安装,估计是版本兼容性问题,如下图; nginx命令; 启动nginx后,访问80端口; nginx网络80端口访问日志文件保存位置; 注意:网上说“在hadoop3.x之前需

    2024年02月09日
    浏览(44)
  • Flume 快速入门【概述、安装、拦截器】

    Flume 是一个开源的数据采集工具,最初由 Apache 软件基金会开发和维护。它的主要目的是帮助用户将大规模数据从各种数据源(如日志文件、网络数据源、消息队列等)采集、传输和加载到数据存储系统(如 Hadoop HDFS、Apache HBase、Apache Hive 等)。 Flume 旨在处理大规模数据流,

    2024年02月07日
    浏览(45)
  • Sqoop和Flume简单安装配置使用详细解答

    了解Sqoop和Flume工具的安装、配置和基本使用方法。Sqoop用于结构化数据和Hadoop之间的批量数据迁移,Flume用于日志数据的收集、聚合和移动。包括安装步骤、配置环境变量、命令示例等内容。

    2024年02月08日
    浏览(42)
  • 【大数据-Flume】

    Flume 是 Cloudera 提供的一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统。Flume 基于流式架构,灵活简单。Flume最主要的作用就是,实时读取服务器本地磁盘的数据,将数据写入到HDFS。 Agent 是一个 JVM 进程,它以事件的形式将数据从源头送至目的。 Agent 主

    2024年01月22日
    浏览(44)
  • 大数据开发之Flume

    Flume是Cloudera提供的一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输系统。 1.2.1 Agent 1、Agent:Flume的部署单元,本质是一个JVM进程,Agent内部是以事件的形式将数据从源头送至目的。 2、组成:Agent主要有3个部分组成,Source、Channel、Sink。 1.2.2 Source 1、Source:是负

    2024年01月16日
    浏览(38)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包