【elasticSearch系】3.完整搭建详尽版elk-Toy模板网

这篇具有很好参考价值的文章主要介绍了【elasticSearch系】3.完整搭建详尽版elk。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

话不多说，我们先看下经典的elk 是由哪些组件搭建组合起来的

【elasticSearch系】3.完整搭建详尽版elk,中间件,elasticsearch,elk,大数据

elasticSearch和kibana搭建

可以查看之前我搭建elasticsearch和kibana 的这篇文章

logstash搭建

为了和之前我搭建elasticsearch和kibana版本保持一致，这里我们还是选择7.17.3

下载地址

【elasticSearch系】3.完整搭建详尽版elk,中间件,elasticsearch,elk,大数据

点击下载，这里为了方便学习我们还是下载的windows的版本

解压后，我们启动logstash.bat发现一直卡着不动，需要我们配置LS_JAVA_HOME

【elasticSearch系】3.完整搭建详尽版elk,中间件,elasticsearch,elk,大数据

我们排查下对应的启动脚本【elasticSearch系】3.完整搭建详尽版elk,中间件,elasticsearch,elk,大数据

找到setup.bat脚本需要我们配置LS_JAVA_HOME的环境变量

【elasticSearch系】3.完整搭建详尽版elk,中间件,elasticsearch,elk,大数据

配置完成环境变量后，

我们进入解压后的logstash文件夹，使用下面命令来启动测试下

.\logstash.bat -e "input { stdin { } } output { stdout {} }"

【elasticSearch系】3.完整搭建详尽版elk,中间件,elasticsearch,elk,大数据

输入hello logstash 测试下

【elasticSearch系】3.完整搭建详尽版elk,中间件,elasticsearch,elk,大数据

到这里，说明我们的logstash已经可以正常启动了

我们看下logstash官方文档上面是怎么配置的

Structure of a config file | Logstash Reference [7.17] | Elastic

看下官网的一个示例

input { stdin { } }

filter {
  grok {
    match => { "message" => "%{COMBINEDAPACHELOG}" }
  }
  date {
    match => [ "timestamp" , "dd/MMM/yyyy:HH:mm:ss Z" ]
  }
}

output {
  elasticsearch { hosts => ["localhost:9200"] }
  stdout { codec => rubydebug }
}

logstash的工作原理

Logstash 事件处理管道分为三个阶段：输入→过滤器→输出。输入生成事件，过滤器修改它们，输出将它们发送到其他地方。输入和输出支持编解码器，使您能够在数据进入或退出管道时对数据进行编码或解码，而无需使用单独的过滤器。

How Logstash Works | Logstash Reference [7.17] | Elastic

官网这篇里面介绍了基本的工作原理

一个简单的mysql数据库数据同步es案例

初始化mysql数据文章来源地址https://www.toymoban.com/news/detail-669705.html

CREATE TABLE `user` (
  `id` int NOT NULL AUTO_INCREMENT,
  `name` varchar(50) DEFAULT NULL,
  `address` varchar(50) DEFAULT NULL,
  `last_updated` bigint DEFAULT NULL,
  `is_deleted` int DEFAULT NULL,
  PRIMARY KEY (`id`)
) ENGINE=InnoDB AUTO_INCREMENT=2 DEFAULT CHARSET=utf

到了这里，关于【elasticSearch系】3.完整搭建详尽版elk的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！