k8s部署efk-Toy模板网

这篇具有很好参考价值的文章主要介绍了k8s部署efk。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

环境简介：

kubernetes: v1.22.2

helm： v3.12.0

elasticsearch： 8.8.0 chart包：19.10.0

fluentd: 1.16.2 chart包： 5.9.4

kibana: 8.2.2 chart包：10.1.9

整体架构图：

k8s部署efk,kubernetes,kubernetes,elk

一、Elasticsearch安装配置

1.1、es角色分类

准主节点：主节点负责集群级别的轻量级操作，包括创建和删除索引、跟踪集群中的所有节点以及分片分配等功能
数据节点：持有索引分片并负责处理数据相关的操作，例如CRUD、搜索和聚合等I/O及CPU密集型的任务。
摄取节点：也称为客户端节点，它负责接收客户端发来的REST请求，并根据内部预置的一个或多个由摄取处理器组成的预处理管道完成数据的预处理，之后路由给数据节点
协调节点：禁用了主节点、数据节点及摄取节点等功能后的节点即为协调节点，它可以完成路由请求、处理搜索结果合并（reduce阶段），以及协调批量索引（bulk indexing）等任务

1.2、修改values.yml

global:
  storageClass: "nfs-client"   #创建pvc，存储日志

clusterDomain: cluster.local   #k8s集群域名
clusterName: elastic           #elasticsearch集群名称，主要用来子节点识别集群的标识

master:
  replicaCount: 2   #主节点实例数量，保持默即可
coordinating:
  replicaCount: 2   #协调节点实例数量，保持默即可
data:
  replicaCount: 2   #数据节点实例数量，保持默即可
ingest:
  enabled: true
  replicaCount: 2   #摄取节点实例数量，保持默即可

1.3、安装验证

helm install my-elasticsearch ./elasticsearch


kubectl  exec -it my-elasticsearch-master-0 bash

#查询集群的工作状态
curl http://my-elasticsearch-coordinating-hl.default.svc:9200/_cluster/health?pretty
  "cluster_name" : "elastic",
  "status" : "green",         #有green、yelllow、red三种状态
  "timed_out" : false,
  "number_of_nodes" : 8,
  "number_of_data_nodes" : 2,
  "active_primary_shards" : 19,
  "active_shards" : 38,
  "relocating_shards" : 0,
  "initializing_shards" : 0,
  "unassigned_shards" : 0,
  "delayed_unassigned_shards" : 0,
  "number_of_pending_tasks" : 0,
  "number_of_in_flight_fetch" : 0,
  "task_max_waiting_in_queue_millis" : 0,
  "active_shards_percent_as_number" : 100.0
}

#查看ES已经生产的索引
curl http://my-elasticsearch-coordinating-hl.default.svc:9200/_cat/indices

二、fluentd安装配置

2.1、Fluentd角色

两种不同角色：Fluent Bit – 转发器（forwarder），Fluentd-- 聚合器（aggregator）

2.2、fuentd数据流

k8s部署efk,kubernetes,kubernetes,elk

Input插件：Tail（文件数据源）、Systemd、Syslog、TCP和 MQTT等。
解析器插件：Logfmt、LTSV和Regular Expression等。
过滤器插件：Grep、Kubernetes、Record Modifier和Lua等。
Output插件：Forward、Kafka、Elasticsearch、File、 InfluxDB和TCP等。

2.3、修改values.yaml

global:
  storageClass: "nfs-client"

  tolerations:                             #添加污点容忍
    - key: node-role.kubernetes.io/master
      effect: NoSchedule

#转发器
forwarder:
  configMapFiles:
    fluentd.conf: |
    fluentd-inputs.conf: |


#聚合器配置
aggregator:
    fluentd-output.conf: |
      # Throw the healthcheck to the standard output
      <match fluentd.healthcheck>
        @type stdout
      </match>

      # Send the logs to the standard output
      <match **>
        @type stdout
        Name elastic
        Match kube.*
        Host my-elasticsearch-coordinating-hl.default.svc
        Logstash_Prefix k8s-cluster  							# Logstash兼容日志格式的索引前缀
      </match>

三、kinaba安装配置

3.1、修改values.yml

global:
  storageClass: "nfs-client"

image:
  registry: registry.cn-hangzhou.aliyuncs.com/other_ns
  repository: kibana
  tag: 8.2.2-debian-10-r0

#服务对外访问为nodeport
service:
  type: NodePort
  nodePorts:
    http: "30004"
  

elasticsearch:
  hosts:
    - my-elasticsearch-coordinating-hl.default.svc.cluster.local    #配置es数据源
  port: "9200"