1.安装ELK整体环境
1.1.安装docker环境
Docker 最新版Version 20.10安装_docker最新版本是多少_猿小飞的博客-CSDN博客
1.2.先安装docker compose
安装docker compose_猿小飞的博客-CSDN博客
1.3.使用 Docker Compose 搭建 ELK 环境
1.3.1.编写 docker-compose.yml 脚本启动 ELK 服务
忘记了文件在哪里,可以使用下面命令进行查找
find / -name docker-compose.yml
version: '3'
services:
elasticsearch:
image: elasticsearch:6.4.0
container_name: elasticsearch
environment:
- "cluster.name=elasticsearch" #设置集群名称为elasticsearch
- "discovery.type=single-node" #以单一节点模式启动
- "ES_JAVA_OPTS=-Xms512m -Xmx512m" #设置使用jvm内存大小
volumes:
- /mydata/elasticsearch/plugins:/usr/share/elasticsearch/plugins #插件文件挂载
- /mydata/elasticsearch/data:/usr/share/elasticsearch/data #数据文件挂载
ports:
- 9200:9200
kibana:
image: kibana:6.4.0
container_name: kibana
links:
- elasticsearch:es #可以用es这个域名访问elasticsearch服务
depends_on:
- elasticsearch #kibana在elasticsearch启动之后再启动
environment:
- "elasticsearch.hosts=http://es:9200" #设置访问elasticsearch的地址
ports:
- 5601:5601
logstash:
image: logstash:6.4.0
container_name: logstash
volumes:
- /mydata/logstash/upms-logstash.conf:/usr/share/logstash/pipeline/logstash.conf
depends_on:
- elasticsearch #kibana在elasticsearch启动之后再启动
links:
- elasticsearch:es #可以用es这个域名访问elasticsearch服务
ports:
- 4560-4600:4560-4600
1.3.2.创建对应容器挂载目录
mkdir -p /mydata/logstash
mkdir -p /mydata/elasticsearch/data
mkdir -p /mydata/elasticsearch/plugins
chmod 777 /mydata/elasticsearch/data # 给777权限,不然启动elasticsearch 可能会有权限问题
1.4.编写日志采集 logstash
针对微服务,我们不同的服务,会专门设置一个单独的端口进行接收。
在 /mydata/logstash
目录创建 upms-logstash.conf
input {
tcp {
add_field => {"service" => "upms"}
mode => "server"
host => "0.0.0.0"
port => 4560
codec => json_lines
}
tcp {
add_field => {"service" => "auth"}
mode => "server"
host => "0.0.0.0"
port => 4561
codec => json_lines
}
tcp {
add_field => {"service" => "gateway"}
mode => "server"
host => "0.0.0.0"
port => 4562
codec => json_lines
}
tcp {
add_field => {"service" => "register"}
mode => "server"
host => "0.0.0.0"
port => 4563
codec => json_lines
}
}
output {
if [service] == "upms"{
elasticsearch {
hosts => "192.168.2.115:9200"
index => "upms-logstash-%{+YYYY.MM.dd}"
}
}
if [service] == "auth"{
elasticsearch {
hosts => "192.168.2.115:9200"
index => "auth-logstash-%{+YYYY.MM.dd}"
}
}
if [service] == "gateway"{
elasticsearch {
hosts => "192.168.2.115:9200"
index => "gateway-logstash-%{+YYYY.MM.dd}"
}
}
if [service] == "register"{
elasticsearch {
hosts => "192.168.2.115:9200"
index => "register-logstash-%{+YYYY.MM.dd}"
}
}
}
2.启动 ELK 服务
在docker-compose.yml
同级目录执行 docker-compose up -d
docker-compose up -d
注意:Elasticsearch 启动可能需要好几分钟,要耐心等待。
3.logstash 安装 json_lines 格式插件
# 进入logstash容器
docker exec -it logstash /bin/bash
# 进入bin目录
cd /bin/
# 安装插件
logstash-plugin install logstash-codec-json_lines
# 退出容器
exit
# 重启logstash服务
docker restart logstash
访问宿主机 5601 kibana
4.微服务中整合整合 Logstash
添加 pom 依赖
<!--集成logstash-->
<dependency>
<groupId>net.logstash.logback</groupId>
<artifactId>logstash-logback-encoder</artifactId>
<version>5.3</version>
</dependency>
logback-spring.xml 新增 appender
<!--输出到logstash的appender-->
<appender name="LOGSTASH" class="net.logstash.logback.appender.LogstashTcpSocketAppender">
<!--可以访问的logstash日志收集端口-->
<destination>192.168.0.31:4560</destination>
<encoder charset="UTF-8" class="net.logstash.logback.encoder.LogstashEncoder"/>
</appender>
<root level="INFO">
<appender-ref ref="LOGSTASH"/>
</root>
特别注意:<destination>192.168.0.31:4560</destination> 这里要改为自己的。
5.在springboot通过不同的环境,配置不同的启动文件
我们一般会在代码中,编写不同的日志文件配置,这样正式环境的时候,就可以直接指向这个文件。
文章来源:https://www.toymoban.com/news/detail-480983.html
参考:Spring Boot「02」日志配置_Java_Samson_InfoQ写作社区文章来源地址https://www.toymoban.com/news/detail-480983.html
到了这里,关于ELK 日志采集使用的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!