大数据:Flume安装部署和配置

这篇具有很好参考价值的文章主要介绍了大数据:Flume安装部署和配置。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。


Flume 简介

Flume是Cloudera提供的一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统,Flume支持在日志系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接受方(可定制)的能力。
安装flume必要条件,大数据,大数据,flume,java
当前Flume有两个版本Flume 0.9X版本的统称Flume-og,Flume1.X版本的统称Flume-ng。由于Flume-ng经过重大重构,与Flume-og有很大不同,使用时请注意区分。

数据采集我们使用Flume。

一,Flume下载和安装

1)登录Flume官网,下载 apache-flume-1.9.0-bin.tar.gz

1.在官网页面单击download
安装flume必要条件,大数据,大数据,flume,java
2.在download页面中,单击archive repository
安装flume必要条件,大数据,大数据,flume,java3.在下图页面单击 1.9.0/,
安装flume必要条件,大数据,大数据,flume,java
4.单击 apache-flume-1.9.0-bin.tar.gz,开始下载
安装flume必要条件,大数据,大数据,flume,java

安装flume必要条件,大数据,大数据,flume,java

2)解压文件到 /opt 目录下

1.拖动apache-flume-1.9.0-bin.tar.gz文件到FinalShell的master中的root目录下,它就会上传到该目录下,如下图所示:
安装flume必要条件,大数据,大数据,flume,java安装flume必要条件,大数据,大数据,flume,java
安装flume必要条件,大数据,大数据,flume,java

2.在master界面下,输入命令:tar -zxvf apache-flume-1.9.0-bin.tar.gz -C /opt
安装flume必要条件,大数据,大数据,flume,java

3)改名为 flume

1.改名
进入opt目录,输入命令:cd /opt
将文件夹apache-flume-1.9.0-bin改名为flume,输入命令:mv apache-flume-1.9.0-bin flume
安装flume必要条件,大数据,大数据,flume,java

2.查看改名是否成功
查看opt目录下的文件名,输入命令:ls
安装flume必要条件,大数据,大数据,flume,java

二,Flume配置

1)修改 /conf/ 目录下的 flume-env.sh 文件

进入/opt/flume/conf/目录下,输入命令:cd /opt/flume/conf/
安装flume必要条件,大数据,大数据,flume,java

拷贝flume-env.sh.template并重命名为flume-env.sh在该文件夹下,输入命令:cp flume-env.sh.template flume-env.sh
安装flume必要条件,大数据,大数据,flume,java

查看文件是否拷贝成功,输入命令:ls
安装flume必要条件,大数据,大数据,flume,java

编辑 flume-env.sh 文件,输入命令: vi flume-env.sh
安装flume必要条件,大数据,大数据,flume,java

按i键进入插入模式,添加内容为(自己jdk的安装路径):export JAVA_HOME=/usr/java/latest
安装flume必要条件,大数据,大数据,flume,java

按Esc键退出插入模式,输入英文状态下的 :wq,按回车存盘退出
安装flume必要条件,大数据,大数据,flume,java

2)配置环境变量

1.打开环境变量配置文件,输入命令:vi /etc/profile,增添以下内容:

# Flume环境变量
export FLUME_HOME=/opt/flume   
export PATH=$FLUME_HOME/bin:$PATH

安装flume必要条件,大数据,大数据,flume,java
2.刷新一下环境变量配置,输入命令:source /ect/profile
安装flume必要条件,大数据,大数据,flume,java

三,测试安装是否成功

验证安装是否成功,输入命令:flume-ng version
安装flume必要条件,大数据,大数据,flume,java文章来源地址https://www.toymoban.com/news/detail-735660.html

到了这里,关于大数据:Flume安装部署和配置的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • flume1.11.0安装部署

    上传;  解压; 进入conf目录,修改 flume-env.sh,配置 JAVA_HOME; 安装nginx; \\\"yum  update\\\"命令最后报错了,但好像没有影响nginx的安装,估计是版本兼容性问题,如下图; nginx命令; 启动nginx后,访问80端口; nginx网络80端口访问日志文件保存位置; 注意:网上说“在hadoop3.x之前需

    2024年02月09日
    浏览(34)
  • CDH大数据平台 14Cloudera Manager Console之flume安装和配置(markdown新版)

    💖个人主页:@与自己作战 💯作者简介: CSDN@博客专家 、 CSDN@大数据领域优质创作者 、 CSDN@内容合伙人 、 阿里云@专家博主 🆘希望大佬们多多支持,携手共进 📝 如果文章对你有帮助的话,欢迎评论💬点赞👍收藏📂加关注 ⛔ 如需要支持请私信我 , 💯 必支持

    2024年02月02日
    浏览(39)
  • flume的安装与配置

    在安装前先确保Hadoop是启动状态。 自行去官网下载即可Download — Apache Flume,我下载的是flume1.11.0  上传后解压 3.进入flume目录,修改conf下的flume-env.sh,配置JAVA_HOME 以下是Nginx的一些基本命令: Nginx服务器默认占用80端口,开启Nginx后去浏览器输入虚拟机ip:80查看如果有如下页面

    2024年02月08日
    浏览(30)
  • 安装配置flume(超详细)

    安装配置flume 1、下载flume的gz包 (百度网盘连接:链接:https://pan.baidu.com/s/1VeelyVBttwLMRS-2LGzp8w?pwd=wanh  提取码:wanh(永久生效)) 2、解压:tar -zxvf apache-flume-1.7.0-bin.tar.gz 3、为了方便和美观,将其改名为flume。 mv apache-flume-1.7.0-bin/ flume 4、查看执行文件 5、配置环境: [root@H

    2023年04月08日
    浏览(25)
  • 【100个 Unity实用技能】☀️ | 关于触发器互相检测的必要前提条件配置

    老规矩,先介绍一下 Unity 的科普小知识: Unity 是 实时3D互动内容创作和运营平台 。 包括 游戏开发 、 美术 、 建筑 、 汽车设计 、 影视 在内的所有创作者,借助 Unity 将创意变成现实。 Unity 平台提供一整套完善的软件解决方案,可用于创作、运营和变现任何实时互动的2D和

    2023年04月09日
    浏览(57)
  • 在Windows下的flume 安装,部署及和kafka组合使用

    一,Windows下配置环境变量 此电脑-右键属性-系统-高级系统设置-环境变量 (1) 环境变量名:FLUME_HOME 变量值:就是安装的flume的路径 例如我自己的是:FLUME_HOME;E:flumeapache-flume-1.9.0-bin (2)在path变量中添加 %FLUME_HOME%conf;%FLUME_HOME%bin;然后依次保存我们所做的修改即可。 编

    2024年02月01日
    浏览(68)
  • Sqoop和Flume简单安装配置使用详细解答

    了解Sqoop和Flume工具的安装、配置和基本使用方法。Sqoop用于结构化数据和Hadoop之间的批量数据迁移,Flume用于日志数据的收集、聚合和移动。包括安装步骤、配置环境变量、命令示例等内容。

    2024年02月08日
    浏览(30)
  • Flume采集数据到HDFS配置参数详细解析

    Flume采集数据到HDFS配置参数详细解析 配置解析: channel:管道;一个sink只能有一个管道,但一根管道可以有多个sink type : hdfs path:写入hdfs的路径,需要包含文件系统标识,比如:hdfs://192.168.40.101:9000/flume/%Y-%m-%d/ (可以使用flume提供的日期及%{host}表达式) filePrefix: 写入hdfs的文件名前缀,可以

    2024年02月02日
    浏览(42)
  • 【Flume 01】Flume简介、部署、组件

    Flume是一个高可用、高可靠、分布式的海量日志采集、聚合和传输的系统 主要特性: 它有一个简单、灵活的基于流的数据流结构(使用Event封装) 具有负载均衡机制和故障转移机制 一个简单可扩展的数据模型(Source、Channel、Sink) Source组件: 从外界采集各种类型数据,将数据

    2024年02月16日
    浏览(65)
  • 矩阵相似_矩阵相似的必要条件

    【分析】A是对角矩阵,求A的相似矩阵就是问,选项ABCD之中哪一个可以相似对角阵A.一个矩阵相似对角阵的充分必要条件是:ni重特征值λ的特征向量有ni个.即r(λiE-A)=n-ni【解答】特征值1为2重特征值,其对于的矩阵(E-A)的秩,r(E-A)=3-2=1选项A,r(E-A)=2选项B,r(E-A)=2选项C,r(E-A)=1选项D,r(E-A)=2选

    2024年02月16日
    浏览(38)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包