一、EFK简介
Elasticsearch 是一个实时的、分布式的可扩展的搜索引擎,允许进行全文、结构化搜索,它通常用于索引和搜索大量日志数据,也可用于搜索许多不同类型的文档。
Beats 是数据采集的得力工具。将 Beats 和您的容器一起置于服务器上,或者将 Beats 作为函数加以部署,然后便可在 Elastisearch 中集中处理数据。如果需要更加强大的处理性能,Beats 还能将数据输送到 Logstash 进行转换和解析。
Kibana 核心产品搭载了一批经典功能:柱状图、线状图、饼图、旭日图,等等。不仅如此,您还可以使用 Vega 语法来设计独属于您自己的可视化图形。所有这些都利用 Elasticsearch 的完整聚合功能。
Elasticsearch 通常与 Kibana 一起部署,Kibana 是 Elasticsearch 的一个功能强大的数据可视化 Dashboard,Kibana 允许你通过 web 界面来浏览 Elasticsearch 日志数据。
二、建单节点ES
1、下载es、kibana、filebeat安装包并解压
下载地址:
https://www.elastic.co/cn/downloads/past-releases#elasticsearch
https://www.elastic.co/cn/downloads/past-releases#filebeat
https://www.elastic.co/cn/downloads/past-releases#kibana
注:三个包的版本必须保持一致
2、创建es普通用户并将es安装包解压
[root@node1 ~]# useradd es
[root@node1 ~]# su - es
[es@node1 ~]$ tar -xzf elasticsearch-7.6.1-linux-x86_64.tar.gz
3、修改配置文件
[es@node1 ~]$ cd elasticsearch-7.6.1/
[es@node1 elasticsearch-7.6.1]$ vim config/elasticsearch.yml
找到如下配置信息进行修改有注释的取消注释
cluster.name: my-application
node.name: node-1
path.data: /var/yoocar/software/elastic/data
path.logs: /var/log/es/
network.host: 0.0.0.0
http.port: 9200
cluster.initial_master_nodes: ["node-1"]
4、使用root用户添加环境变量
[root@node1 ~]# vim /etc/profile
export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.342.b07-0.up3.uelc20.01.x86_64
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH
[root@node1 ~]# source /etc/profile
[root@node1 ~]# vim /etc/sysctl.conf
vm.max_map_count=262144
[root@node1 ~]# sysctl -p
vm.dirty_ratio = 50
net.core.busy_read = 100
vm.max_map_count = 262144
[root@node1 ~]# vim /etc/security/limits.conf
* soft nofile 65536
* hard nofile 65536
[root@node1 ~]# ln -s /usr/lib/jvm/java-1.8.0-openjdk-1.8.0.342.b07-0.up3.uelc20.01.x86_64/jre/bin /usr/lib/jvm/java-1.8.0-openjdk-1.8.0.342.b07-0.up3.uelc20.01.x86_64/
5、启动es
[es@node1 elasticsearch-7.6.1]$ ./bin/elasticsearch -d
注:此处需要使用es用户进行启动,这里使用的启动方式是后台启动通过ps aux查看是否启动成功
三、搭建kibana
1、解压安装包
[root@node1 ~]# tar -xzf kibana-7.6.1-linux-x86_64.tar.gz
2、修改配文件
[root@node1 kibana-7.6.1-linux-x86_64]# vim config/kibana.yml
找到如下配置进行修改
server.port: 5601
server.host: "0.0.0.0"
server.name: "node1"
elasticsearch.hosts: ["http://192.168.122.63:9200"]
i18n.locale: "zh-CN"
3、启动kibana
[root@node1 kibana-7.6.1-linux-x86_64]# ./bin/kibana --allow-root
四、搭建filebeats
1、解压安装包
[root@node1 ~]# tar -xzf filebeat-7.6.1-linux-x86_64.tar.gz
2、修改配置文件
[root@node1 filebeat-7.6.1-linux-x86_64]# vim filebeat.yml
filebeat.inputs:
- type: log
enabled: true
paths:
- /var/yoocar/software/elastic/logs/gc.log.0.current
multiline.pattern: ^\[
multiline.negate: true
multiline.match: after
multiline.max_lines: 1000
multiline.timeout: 3s
filebeat.config.modules:
path: ${path.config}/modules.d/*.yml
reload.enabled: false
setup.template.settings:
index.number_of_shards: 1
output.elasticsearch:
# Array of hosts to connect to.
hosts: ["192.168.122.63:9200"]
setup.kibana: "192.168.122.63:5601"
index: "log-%{+yyyy.MM}"
setup.template.name: "filebeat"
setup.template.pattern: "filebeat-*"
processors:
- add_host_metadata: ~
- add_cloud_metadata: ~
- add_docker_metadata: ~
- add_kubernetes_metadata: ~
3、启用system模块
[root@node1 filebeat-7.6.1-linux-x86_64]# ./filebeat modules enable system
4、启用filebeat
setup命令加载kibana仪表盘。如果仪表盘设置好了请忽略此步骤
注:此命令需要加载一段时间请耐心等候
[root@node1 filebeat-7.6.1-linux-x86_64]# ./filebeat setup
加载完成后使用如下命令
[root@node1 filebeat-7.6.1-linux-x86_64]# ./filebeat -e
5、检查数据并查看仪表盘是否生成
使用浏览器访问本机5601端口之后根据如下截图箭头点击即可
文章来源:https://www.toymoban.com/news/detail-580558.html
五、结果展示
文章来源地址https://www.toymoban.com/news/detail-580558.html
到了这里,关于UOS服务器操作系统部署EFK的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!