ELK 日志系统的常见解决方案：
通常的产品或项目部署至服务器，服务一般会打印日志便于线上问题跟踪。
使用 Log4j 中的自定义 Appender，将服务运行打印的日志直接推送到 Kafka 中。经由 Logstash 消费 Kafka 生产的数据，进行加工过滤后输出到 ElasticSearch 进行日志数据的存储与全文检索。使用 Kibana 对日志数据进行可视化操作。
1. 单点日志系统设计
- 相对于 Filebeat 日志收集后输出到 Kafka 的方案，需要服务器存储日志文件。当随着业务复杂性上升，单日日志量也会较大，存储历史日志将占用服务器内存，且不便管理。
- 使用自定义 Appender 直接打印日志上报 Kafka，去掉了 Filebeat 日志收集，并解决了日志文件存储空间占用的问题。不过也存在因网络传输等原因造成日志丢失的风险。
2. 自定义Appender打包说明
- 应用场景
应用于 ELK 日志直推 Kafka 设计场景,自定义 Appender 项目开发打Jar包如下log-system-util-1.0-SNAPSHOT-jar-with-dependencies.jar - 功能设计
项目打印日志，通过 log4j 将日志信息推送到 Kafka；
作为日志服务器监测对接应用存活状态，心跳监测或轮询监测； - 本地开发自定义 Appender 项目
实现 Appender 打印日志上报指定 Kafka 服务，项目本地打 jar 包，已供多应用对接此工具 - 安装 jar 包到 maven 仓库
mvn install:install-file
-Dfile=C:\Users\Zxy\Desktop\CODE\log-system-util-1.0-SNAPSHOT-jar-with-dependencies.jar
-DgroupId=cn.nascent -DartifactId=log-system-util
-Dversion=1.0 -Dpackaging=jar
当出现BUILD SUCCESS 时就说明安装成功
命令说明
(1)-Dfile jar包所在路径，需要包含jar包名.例如：xx/xx/xx/**.jar
(2)-DgroupId 指定导入jar时的groupid,可以自定义，cn.nascent就是自定义的
(3)-DartifactId指定导入jar时的artifactId，可以自定义，log-system-util就是自定义的
(4)-Dversion 指定导入jar时的版本号，可以自定义。这里的1.0就是自定义的
(5)-Dpackaging 指定文件类型 ，由于这里是jar包的形式，所以这里得是jar
- 引入依赖
pers.niaonao 、 log-system-util 、 1.0.0 就是安装jar包时指定的参数
<dependency>
<groupId>pers.niaonao</groupId>
<artifactId>log-system-util</artifactId>
<version>1.0.0</version>
</dependency>
- 修改log4j.properties配置文件
#输出到kafka
log4j.logger.pers.niaonao=INFO,KAFKA
# appender KAFKA
log4j.appender.KAFKA=pers.niaonao.kafka.KafkaLog4jAppender
3. 使用示例
package pers.niaonao;
import org.apache.log4j.Logger;
public class MyAppender {
private static Logger LOGGER = Logger.getLogger(MyAppender.class);
public static void main(String[] args) throws InterruptedException {
int times = 16;
String mess = "Test My Appender";
String sendMess = null;
for (int i = 0; i < times; i++) {
sendMess = mess + "=======>" + i;
MyAppender.LOGGER.info(sendMess);
Thread.sleep(300);
}
}
}
注意
(1) 不可以将 Kafka 定义到 rootLogger 中，这会造成程序的卡顿。因此需要另外定义一个 rootLogger。
(2) log4j.logger.后，=之前的的必须是你的包名。当你指定了这个包名之后，那么在这个包下的类产生的日志才会通过下面定义的appender 输送到 kafka 中。
(3) log4j.appender.KAFKA 这条配置，会在LogManager 类加载时，作为一个 appender 添加到以 log4j.logger 后面跟的包名为名的 logger 中去。之后这个包下的类获取 Logger 时会在类 Hierarchy.class 中的 updateParents 方法中将配置文件中的 appender 添加到在类中获取的 logger(Logger.getLogger(xx.class)) 中。文章来源：https://www.toymoban.com/news/detail-400148.html
参考文章
ELK日志系统设计方案-Filebeat日志收集推送Kafka
ELK日志系统设计方案-Log4j日志直推Kafka
ELK日志系统设计方案-集群扩展
ELK日志系统部署实现
Powered By niaonao文章来源地址https://www.toymoban.com/news/detail-400148.html
到了这里，关于ELK日志系统设计方案-Log4j日志直推Kafka的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！
