K8s 场景下 Logtail 组件可观测方案升级-Logtail 事件监控发布

这篇具有很好参考价值的文章主要介绍了K8s 场景下 Logtail 组件可观测方案升级-Logtail 事件监控发布。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

背景

随着K8s和云的普及,越来越多的公司将业务系统部署到云上,并且使用K8s来部署应用。Logtail是SLS提供的日志采集Agent,能够非常好的适应K8s下各种场景的日志采集,支持通过DaemonSet方式和Sidecar方式采集Kubernetes集群的容器标准输出或者文件日志。Logtail作为一个K8s场景下非常重要一个组件,其自身运行状态需要有更好的可观测方案。

K8s中Logtail管控原理

K8s场景下,除了控制台管控之外,Logtail还提供了环境变量和CRD两种配置方式,用来配置容器日志采集。

环境变量方式

环境变量的配置方式,参考文档

环境变量方式管控原理:

  • Logtail会去扫描所有的容器信息,并获取容器中的环境变量信息
  • 过滤其中包含aliyun_logs_前缀的字段,然后组合成采集配置信息,Logtail同时会用改环境变量作为采集配置中容器过滤的条件
  • Logtail端收到采集配置的变化后,会调整本地的采集配置,从而实现整个控制流程的闭环。

CRD方式

k8s的观测组件,云计算,阿里云,kubernetes

k8s的观测组件,云计算,阿里云,kubernetes

CRD方式创建采集配置流程,参考文档。

CRD配置原理如上图所示:

  • K8S内部会注册自定义资源(CRD,CustomResourceDefinition)AliyunLogConfig,并部署alibaba-log-controller
  • CR对象创建/变化/删除之后,alibaba-log-controller会监听到CR对象的变化,从而对CR对象中指定的logstore、采集配置进行相应的操作
  • Logtail端收到采集配置的变化后,会调整本地的采集配置,从而实现整个控制流程的闭环。

无论是环境变量的配置方式,还是CRD的配置方式,Logtail的状态都是比较难观测的。

  • 环境变量配置之后,无论配置的是否正确,都不会影响业务容器的正常运行。但是logtail是否读到了环境变量里的配置并且进行了正确的处理,这个用户只能看到最终的结果。如果配置错了,用户也不能拿到及时的反馈,只能看到SLS控制台上,logstore没有创建出来或者采集配置没有创建出来,中间到底哪一个步骤报错了,用户也无法感知。
  • 一个CR配置之后,从K8s的角度来看,只能看到CR对象创建成功了。但是CRD对象创建成功之后,alibaba-log-controller内的处理流程,对于用户来讲,就像黑盒一样。如果出现异常,用户并不清楚究竟是中间哪一步出了问题。

基于以上的问题,SLS针对Logtail本身以及Logtail的管控组件alibaba-log-controller,采用K8s事件的方式,将处理流程中的关键事件透出,从而让用户能够更清楚的感知其中发生的异常。文章来源地址https://www.toymoban.com/news/detail-796289.html

Logtail事件监控实战

限制说明

  • alibaba-log-controller版本大于等于0.3.2
  • logtail版本大于等于1.1.2
  • logtail中目前涵盖的事件
  • 创建project、创建logstore、创建采集配置
  • alibaba-log-controller中涵盖的事件
  • 创建project、创建logstore、创建采集配置、创建索引、创建ingress日志中心、checkpoint写入

到了这里,关于K8s 场景下 Logtail 组件可观测方案升级-Logtail 事件监控发布的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • k8s调度场景

    Kubernetes调度是确保集群中的Pod在适当节点上运行的关键组件。通过灵活配置调度策略,可以提高资源利用率、负载平衡和高可用性。 在本文中,我们将深入探讨一些实际的Kubernetes调度场景,并提供相应的配置示例和最佳实践。 场景描述:我们有一些标记有SSD硬盘的节点,并

    2024年04月17日
    浏览(30)
  • 部署k8s集群版本升级

            升级k8s,可以升级一个小版本,可以升级一个大版本,但是不能跨版本升级,会有报错提示。建议一个版本一个版本升级 注意kubeadm版本与集群版本一致。本文集群版本v1.20.15升级到v1.21.14. 第一步:查看当前集群集群版本 [root@master ~]# kubectl  get  node 第二步:使节

    2024年02月05日
    浏览(43)
  • 四、k8s详细介绍-应用场景

    Kubernetes(K8S)是一种开源的容器编排平台,它可以自动化管理容器化应用程序的部署、扩展和管理。K8S具有高度的可扩展性、灵活性和可靠性,因此在各种应用场景中得到广泛应用。本文将介绍K8S的应用场景,包括以下方面: K8S是云原生应用的基石,它为云原生应用提供了

    2023年04月17日
    浏览(32)
  • k8s学习笔记(二):k8s的组件介绍

    Master:是 集群的网关和中枢枢纽 ,主要作用: 暴露API接口,跟踪其他服务器的健康状态、以最优方式调度负载,以及编排其他组件之间的通信 。单个的Master节点可以完成所有的功能,但是考虑单点故障的痛点,生产环境中通常要部署多个Master节点,组成Cluster。包括所有的

    2024年02月04日
    浏览(42)
  • K8s(Kubernetes)学习(一):k8s概念及组件

    Kubernetes中文文档:https://kubernetes.io/zh-cn/docs/home/ Kubernetes源码地址:https://github.com/kubernetes/kubernetes 首先要了解应用程序部署经历了以下几个时代: 传统部署时代:在物理服务器上运行应用程序。 虚拟化部署时代:虚拟化技术允许你在单个物理服务器的 CPU 上运行多台虚拟机

    2024年02月05日
    浏览(54)
  • k8s~service的种类与使用场景

    Kubernetes (K8s) 中的 Service 用于将应用程序的一组 Pod 暴露给其他应用程序或服务,以便它们可以相互通信。K8s 中的 Service 主要分为以下几种类型,每种类型都有其特点和适用场景: ClusterIP Service: 特点:ClusterIP Service 为 Pod 提供了一个稳定的虚拟 IP 地址,这个 IP 只能从 Kubern

    2024年02月08日
    浏览(33)
  • k8s~RKE的方式升级Rancher集群

    在主机或者远程访问的笔记本上安装kubectl命令行工具 通过RKE创建kubernetes集群,需要预先设置rancher-cluster.yml配置文件,通过这个配置文件安装kubernetes集群,同时可以指定kubernetes的版本。 RKE安装kubernetes集群后,会在RKE二进制文件相同目录下生成kube_config_rancher-cluster.yml文件,

    2024年02月08日
    浏览(45)
  • 从源码解析Kruise(K8S)原地升级原理

    本文从源码的角度分析 Kruise 原地升级相关功能的实现。 本篇Kruise版本为v1.5.2。 Kruise项目地址: https://github.com/openkruise/kruise 更多云原生、K8S相关文章请点击【专栏】查看! 当我们使用 deployment 等 Workload , 我们更改镜像版本时, k8s 会删除原有pod进行重建,重建后pod的相关属

    2024年02月22日
    浏览(34)
  • k8s 组件

    k8s: kubernets:8个字母省略,就是k8s. 自动部署,自动扩展和管理容器化的应用程序的一个开源系统。 k8s是负责自动化运维管理多个容器化程序的集群,是一个功能强大的容器编排工具。 以分布式和集群化的方式进行容器管理。 1.20面试版本 k8s是google的borg系统作为原型,后期经

    2024年02月04日
    浏览(27)
  • k8s使用ingress实现应用的灰度发布升级

    v1是1.14.0版本nginx ,实操时候升级到v2是1.20.0版本nginx,来测试灰度发布实现过程 一、方案:使用ingress实现应用的灰度发布 1、服务端:正常版本v1,灰度升级版本v2 2、客户端:带有请求头version=v2标识的请求访问版本v2,其他的请求访问版本v1 3、待版本v2稳定后,所有请求切换

    2024年01月24日
    浏览(51)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包