使用logstash将项目的日志存储到Elasticsearch中（详细！新手避坑点！）-Toy模板网

这篇具有很好参考价值的文章主要介绍了使用logstash将项目的日志存储到Elasticsearch中（详细！新手避坑点！）。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

1.环境准备

我这里默认你们这个logstash和Elasticsearch已经安装好了。

我使用的是logstash版本7.4.0 Elasticsearch版本7.4.0。使用其他版本注意版本一定要一致，版本不一致大概率会出现logstash启动报Failed to install template.异常，已经踩坑了。

logstash的配置文件：

input {
#tcp网络传输模式
    tcp {
       mode => "server" 
       #监听端口号
       port => 9601
       codec => json_lines
    }
}
#输出位置
output {
    elasticsearch {
        action => "index"
        #es的地址
        hosts => ["10.10.80.56:9200"]
        #es的索引名称
        index => "logtoes-test"
        #es的用户名与密码
        user => "username"
        password => "password"
     }
    stdout {
        codec => rubydebug
    }
}

接下来

以配置文件启动

在 logstash-7.4.0下的bin目录使用

./logstash -f /home/zhjk/logstash-test-config/logstash-test.conf

-f 后面是配置文件路径

启动成功窗口

使用logstash将项目的日志存储到Elasticsearch中（详细！新手避坑点！）

查看9601端口是否被监听

[zhjk@tongtech-56 ~]$ netstat -lntp |grep 9601
tcp6       0      0 :::9601                 :::*                    LISTEN      8897/java

2.配置lockback

maven坐标

尽量和我的一致，之前用的4.8 的版本，不报错但是日志进不去。

<!--logback日志-->
        <dependency>
            <groupId>net.logstash.logback</groupId>
            <artifactId>logstash-logback-encoder</artifactId>
            <version>6.3</version>
        </dependency>

logback.xml

<?xml version="1.0" encoding="utf-8" ?>  <configuration>
    <property name="logstash.host" value="服务器地址"/>
    <property name="logstash.port" value="9601"/>
    <contextName>springcloud</contextName>


    <appender name="consoleLog" class="ch.qos.logback.core.ConsoleAppender">
        <layout clas="ch.qos.logback.classic.PatternLayout">
            <pattern>
                %date %level [%thread] %logger{36} [%file : %line] %msg%n
            </pattern>
        </layout>
    </appender>

    <appender name="fileInfoLog" class="ch.qos.logback.core.rolling.RollingFileAppender">
        <rollingPolicy class="ch.qos.logback.core.rolling.TimeBasedRollingPolicy">
            <fileNamePattern>${logging.path}.%d{yyyy-MM-dd}.zip</fileNamePattern>
        </rollingPolicy>
        <!--&lt;!&ndash;过滤输出到日志文件的日志内容&ndash;&gt;
        <filter class="ch.qos.logback.classic.filter.ThresholdFilter">
            <level>
                &lt;!&ndash;只配置这个还是会输出ERROR等级的日志，因为error level > info level；拦截的是>=info等级的内容&ndash;&gt;
                INFO
            </level>
        </filter>-->

        <!--要用下面这种方式才能过滤输出到日志文件的ERROR信息，类似switch case，onMatch和onMisMatch中的指令在LevelFilter类的FilterReply中可以看到-->
        <filter class="ch.qos.logback.classic.filter.LevelFilter">
            <level>ERROR</level>
            <!--匹配到上面level的ERROR等级日志时，禁止输出到日志文件中-->
            <onMatch>DENY</onMatch>
            <!--匹配到上面的ERROR日志时，输出到日志文件中，（还有一个指令NEUTRAL，代表当前这条策略不做操作，让下一条策略去匹配）-->
            <onMismatch>ACCEPT</onMismatch>
        </filter>
        <encoder>
            <pattern>
                %date %level [%thread] %logger{36} [%file : %line] %msg%n
            </pattern>
        </encoder>
        <!--滚动策略,按照时间滚动-->
        <rollingPolicy class="ch.qos.logback.core.rolling.TimeBasedRollingPolicy">
            <!--路径要先去建好，不然会报错，linux/Mac下要给予可写权限，sudo chmod -R 777 /var/log/tomcat
            windows 类似，D:\log\tomcat-->
            <fileNamePattern>
                <!--在文件名中带上时间，配置完后要在下面root level中指定这个配置-->
                D:\tomcat\info.%d.log
            </fileNamePattern>
        </rollingPolicy>
    </appender>

    <appender name="fileErrorLog" class="ch.qos.logback.core.rolling.RollingFileAppender">
        <rollingPolicy class="ch.qos.logback.core.rolling.TimeBasedRollingPolicy">
            <fileNamePattern>${logging.path}.%d{yyyy-MM-dd}.zip</fileNamePattern>
        </rollingPolicy>
        <!--过滤输出到日志文件的日志内容-->
        <filter class="ch.qos.logback.classic.filter.ThresholdFilter">
            <level>
                ERROR
            </level>
        </filter>
        <encoder>
            <pattern>
                %date %level [%thread] %logger{36} [%file : %line] %msg%n
            </pattern>
        </encoder>
        <!--滚动策略,按照时间滚动,每天创建一个文件-->
        <rollingPolicy class="ch.qos.logback.core.rolling.TimeBasedRollingPolicy">
            <!--路径要先去建好，不然会报错，linux/Mac下要给予可写权限，sudo chmod -R 777 /var/log/tomcat
            windows 类似，D:\log\tomcat-->
            <fileNamePattern>
                <!--在文件名中带上时间，配置完后要在下面root level中指定这个配置-->
                D:\tomcat\error.%d.log
            </fileNamePattern>
        </rollingPolicy>
    </appender>



    <appender name="LOGSTASH" class="net.logstash.logback.appender.LogstashTcpSocketAppender">
        <!-- <destination>${logstash.host}:${logstash.port}</destination>-->
        <remoteHost>${logstash.host}</remoteHost>
        <port>${logstash.port}</port>
<!--        这个值只能配置2的N次幂（2,4,8,16...），默认8192，单位是B-->
        <queueSize>1048576</queueSize>

        <filter class="ch.qos.logback.classic.filter.LevelFilter">
         <!-正常应该是error级别，但为了看到效果 设为info-->
            <level>INFO</level>
            <!--匹配到上面level的ERROR等级日志时，禁止输出到日志文件中-->
            <onMatch>ACCEPT</onMatch>
            <!--匹配到上面的ERROR日志时，输出到日志文件中，（还有一个指令NEUTRAL，代表当前这条策略不做操作，让下一条策略去匹配）-->
            <onMismatch>DENY</onMismatch>
        </filter>

        <encoder class="net.logstash.logback.encoder.LoggingEventCompositeJsonEncoder">
            <providers>
                <timestamp>
                    <timeZone>UTC</timeZone>
                </timestamp>
                <pattern>
                    <pattern>
                        {
                        "severity":"%level",
                        "service": "%contextName",
                        "pid": "${PID:-}",
                        "thread": "%thread",
                        "class": "%logger{40}",
                        "rest": "%message->%ex{full}"
                        }
                    </pattern>
                </pattern>
            </providers>
        </encoder>
    </appender>

    <!--root代表整个项目的日志等级-->
    <root level="info">
        <!--上面配置的appender中的name-->
        <appender-ref ref="consoleLog"/>
        <appender-ref ref="fileInfoLog"/>
        <appender-ref ref="fileErrorLog"/>
        <appender-ref ref="LOGSTASH"/>
    </root>
</configuration>