ELK之LogStash介绍及安装配置

这篇具有很好参考价值的文章主要介绍了ELK之LogStash介绍及安装配置。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

ELK之LogStash介绍及安装配置,ELK,elk,jenkins,运维,logstash

一、logstash简介

  1. 集中、转换和存储数据
    Logstash 是免费且开放的服务器端数据处理管道,能够从多个来源采集数据,转换数据,然后将数据发送到您最喜欢的“存储库”中。
    Logstash 能够动态地采集、转换和传输数据,不受格式或复杂度的影响。利用 Grok 从非结构化数据中派生出结构,从 IP 地址解码出地理坐标,匿名化或排除敏感字段,并简化整体处理过程。
    数据从源传输到存储库的过程中,Logstash 过滤器能够解析各个事件,识别已命名的字段以构建结构,并将它们转换成通用格式,以便进行更强大的分析和实现商业价值。

  2. Logstash 能够动态地转换和解析数据,不受格式或复杂度的影响:
    利用 Grok 从非结构化数据中派生出结构
    从 IP 地址破译出地理坐标
    将 PII 数据匿名化,完全排除敏感字段
    简化整体处理,不受数据源、格式或架构的影响.

  3. 选择您的存储库,导出您的数据
    尽管 Elasticsearch 是我们的首选输出方向,能够为我们的搜索和分析带来无限可能,但它并非唯一选择。
    Logstash 提供众多输出选择,您可以将数据发送到您要指定的地方,并且能够灵活地解锁众多下游用例。

  4. Logstash 采用可插拔框架,拥有 200 多个插件。您可以将不同的输入选择、过滤器和输出选择混合搭配、精心安排,让它们在管道中和谐地运行。

ELK之LogStash介绍及安装配置,ELK,elk,jenkins,运维,logstash

二、下载安装Logstash

下载地址:https://www.elastic.co/cn/downloads/past-releases/logstash-7-17-4

解压

tar -zxvf logstash-7.17.4-linux-x86_64.tar.gz

# 解压后:
[root@nb002 logstash-7.17.4]# ll
总用量 476
drwxr-xr-x 2 root root    4096 626 07:37 bin
drwxr-xr-x 2 root root     142 626 07:37 config
-rw-r--r-- 1 root wheel   2276 518 23:31 CONTRIBUTORS
drwxr-xr-x 2 root wheel      6 518 23:31 data
-rw-r--r-- 1 root wheel   4050 518 23:31 Gemfile
-rw-r--r-- 1 root wheel  28942 518 23:31 Gemfile.lock
drwxr-xr-x 9 root root     121 626 07:37 jdk
drwxr-xr-x 6 root root      84 626 07:37 lib
-rw-r--r-- 1 root wheel  13675 518 23:31 LICENSE.txt
drwxr-xr-x 4 root root      90 626 07:37 logstash-core
drwxr-xr-x 3 root root      86 626 07:37 logstash-core-plugin-api
drwxr-xr-x 4 root root      55 626 07:37 modules
-rw-r--r-- 1 root wheel 424030 518 23:31 NOTICE.TXT
drwxr-xr-x 3 root root      30 626 07:37 tools
drwxr-xr-x 4 root root      33 626 07:37 vendor
drwxr-xr-x 9 root root     193 626 07:37 x-pack

启动,接收控制台的输入,并输出到控制台

 ./logstash -e 'input{stdin{type => stdin}} output{stdout{codec => rubydebug}}'

完整启动日志如下,Successfully started Logstash API endpoint {:port=>9600, :ssl_enabled=>false}
ELK之LogStash介绍及安装配置,ELK,elk,jenkins,运维,logstash
然后,我们在控制台输入,也会有响应的输出打印到控制台,如下:
ELK之LogStash介绍及安装配置,ELK,elk,jenkins,运维,logstash
host:主机名称
@timestamp:处理消息的时间
message:消息本身,接收输入的内容
type:输入类型

三、以配置文件方式启动Logstash

3.1 在config目录下新建first-pipeline.conf文件, 内容如下:

input{
  stdin{type => stdin}
}

output{
  stdout{codec => rubydebug}
}

3.2 然后以配置文件启动:

./logstash -f ../config/first-pipeline.conf

然后我们在控制台中输入一条日志消息:发现OK
ELK之LogStash介绍及安装配置,ELK,elk,jenkins,运维,logstash文章来源地址https://www.toymoban.com/news/detail-677051.html

END

到了这里,关于ELK之LogStash介绍及安装配置的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • docker安装elk(Elasticsearch+logstash+kibana)

    1. 安装Docker 如果您还没有安装Docker,请先安装Docker。您可以按照官方文档进行安装:https://docs.docker.com/engine/installation/ 安装 docker-ce [root@k8s-master ~]# yum install docker-ce -y [root@k8s-master ~]# systemctl start docker systemctl enable docker.service   配置 docker 镜像加速器和驱动 [root@k8s-master ~]#vi

    2024年01月20日
    浏览(43)
  • Elasticsearch,Logstash和Kibana安装部署(ELK Stack)

    前言 当今数字化时代,信息的快速增长使得各类组织和企业面临着海量数据的处理和分析挑战。在这样的背景下,ELK Stack(Elasticsearch、Logstash 和 Kibana)作为一套强大的开源工具组合,成为了解决数据管理、搜索和可视化的首选方案。无论是监控日志、实时数据分析,还是构

    2024年02月10日
    浏览(30)
  • [ELK安装篇]:基于Docker虚拟容器化(主要LogStash)

    1.1.1:地址:https://blog.csdn.net/Abraxs/article/details/128517777 4.1.1:也可以尝试通过挂在目录在宿主机配置文件操作 docker exec -it ae0fbdac223a /bin/sh 配置文件默认信息: 4.1.2:修改默认配置:改成如下配置 4.2.1:配置文件默认信息: 4.2.2:修改填充默认配置文件信息:

    2024年02月15日
    浏览(28)
  • Docker安装elasticsearch、kibana和logstash,实现ELK

    目录 一、 安装elasticsearch 二、安装elasticsearch-head 三、安装?kibana 四、安装 logstash 五、安装filebeat 1.拉取镜像 2.新建elasticsearch.yml 3.运行容器 -p 9200:9200 -p 9300:9300 -e “ES_JAVA_OPTS=-Xms512m -Xmx512m” -v /home/elasticsearch/config/elasticsearch.yml:/usr/share/elasticsearch/config/elasticsearch.yml -e “discov

    2024年02月02日
    浏览(33)
  • bitnami Docker 安装ELK(elasticsearch, logstash, kibana)

    网上想找个用bitnami的ELK镜像安装ELK环境的,找了好半天没找到,于是自己尝试着安装了一套,分享给大家。 直接上干货: 安装Elasticsearch 用浏览器查看:http://localhost:9200, 应该可以看到ES安装成功 安装Logstash 这一步要点: 1、要把elk-es这个容器映射到logstash容器里面,里面的

    2024年02月04日
    浏览(38)
  • ELK第一讲之【docker安装(Elasticsearch、kibana、IK分词器、Logstash)8.4.3】

    1、 对应版本kibana8.4.3的安装 2、 IK分词器8.4.3的安装 3、 Logstash-8.4.3的安装 启动出现以下错误,再执行该操作 出现max virtual memory areas vm.max_map_count [65530] is too low,increase to at least [262144] 1、启动es 2、复制elasticsearch.yml 3、复制完成后、关闭不要的校验 4、关闭容器 开放9200端口 打

    2023年04月23日
    浏览(47)
  • ELK(ElasticSearch, Logstash, Kibana)

    ELK简介 ELK是三个开源软件的缩写,分别表示:Elasticsearch , Logstash, Kibana , 它们都是开源软件。新增了一个FileBeat,它是一个轻量级的日志收集处理工具(Agent),Filebeat占用资源少,适合于在各个服务器上搜集日志后传输给Logstash,官方也推荐此工具。 Elasticsearch是个开源分布式搜

    2023年04月09日
    浏览(40)
  • 使用Docker安装ELK(Elasticsearch+Logstash+Kibana)+filebeat____基于CentOS7.9

    目录 一、安装JDK 二、部署Elasticsearch 三、部署kibana 四、部署Logstash 五、部署filebeat 六、filebeat采集数据,logstash过滤,在kibana中显示 七、kibana增加索引 1、更新系统 2、安装Java 下面是安装OpenJDK的命令: 3、验证安装 1、查看是否安装docker 安装最新版的docker可能导致部分系统不

    2024年02月04日
    浏览(38)
  • ELK(elasticsearch+logstash+kibana+beats)

    Elasticsearch :Elasticsearch(以下简称ES) 是一个分布式、RESTful 风格的搜索和数据分析引擎,能够解决不断涌现出的各种用例。 ES是 Elastic Stack 的核心,采用集中式数据存储,可以通过机器学习来发现潜在问题。ES能够执行及合并多种类型的搜索(结构化数据、非结构化数据、地

    2024年02月16日
    浏览(44)
  • ELK之从Logstash读取数据到Elasticsearch

    前置条件: Elasticsearch 集群正常 Elasticsearch集群配置直通车:ELK之Elasticsearch7.17.4安装(yum方式)和三节点集群配置 Filebeat和logstash打通 ELK之LogStash接收Filebeat的数据:ELK之LogStash接收Filebeat的数据 修改Logstash 配置文件,将output改为如下地址,注释掉控制台输出,添加elasticsearc

    2024年01月22日
    浏览(33)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包