1. Toy模板网首页
  2. > Toy博客

【大数据】LPG日志采集方案（官网入门案例）

9月前 作者：Fire Fish 分类：Toy博客 阅读(31) 违法举报

这篇具有很好参考价值的文章主要介绍了【大数据】LPG日志采集方案（官网入门案例）。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。


本文先后介绍LPG、LPG的实验、官方的 Getting started入门案例，非常有意思，过程会耗费几个小时，来一起体验吧！

之前一直使用的日志收集方案是ELK，动辄占用几个G的内存，有些配置不好的服务器有点顶不住！最近发现一套轻量级日志收集方案： Loki+Promtail+Grafana（简称LPG）， 几百M内存就够了，而且界面也挺不错的，推荐给大家！

前言：环境是Linux机器，不是mac，也不是windows！

1. LPG简介

LPG日志收集方案内存占用很少，经济且高效！它不像ELK日志系统那样为日志建立索引，而是为每个日志流设置一组标签。下面分别介绍下它的核心组件：

  • Promtail：日志收集器，有点像Filebeat，可以收集日志文件中的日志，并把收集到的数据推送到Loki中去。

  • Loki：聚合并存储日志数据，可以作为Grafana的数据源，为Grafana提供可视化数据。

  • Grafana：从Loki中获取日志信息，进行可视化展示。

【大数据】LPG日志采集方案（官网入门案例）,大数据

对上图的解释：

1、每台服务器需要部署一台Promtail，责任是监控采集这台服务器的日志并推送给Loki存储服务，默认是监控和采集/var/log目录

2、Loki负责日志存储

3、Grafana是数据的可视化，负责读取Loki中的日志

2. 安装

实现这套日志收集方案需要安装Loki、Promtail、Grafana这些服务，直接使用docker-compose来安装非常方便。

我们采用官网的Install with Docker Compose方案，下面简单介绍下官网的方案。

1、首先您需要安装好Docker Compose（请自行安装）

2、下载docker-compose脚本，然后执行

wget https://raw.githubusercontent.com/grafana/loki/v2.8.0/production/docker-compose.yaml -O docker-compose.yaml
docker-compose -f docker-compose.yaml up

因为网站在国外默认是无法访问的的，作者提供了我下载好的脚本docker-compose.yaml可直接使用。读者也可以用参考博客解决 raw.githubusercontent.com 无法访问的问题尝试解决。本文末尾的附录也提供了完整的脚本和说明。

3、运行成功后，可以使用docker ps命令查看到3个服务

[root@server123 ~]# docker ps
CONTAINER ID   IMAGE                    COMMAND                  CREATED             STATUS              PORTS                                       NAMES
a519d567e6a4   grafana/promtail:2.8.0   "/usr/bin/promtail -…"   About an hour ago   Up About a minute                                               plg-promtail-1
c880ad914857   grafana/grafana:latest   "sh -euc 'mkdir -p /…"   About an hour ago   Up About a minute   0.0.0.0:3000->3000/tcp, :::3000->3000/tcp   plg-grafana-1
dcc6c716cd69   grafana/loki:2.8.0       "/usr/bin/loki -conf…"   About an hour ago   Up About a minute   0.0.0.0:3100->3100/tcp, :::3100->3100/tcp   plg-loki-1

3. 测试日志方案的效果

3.1. 测试1：Promtail监控/var/log目录的变化

实验目的：测试Promtail能否监控/var/log目录的变化

实验过程：

1、在/var/log目录下新建一个文件

# 输出'hello lpg'到/var/log/lpg.log 文件
echo 'hello lpg' > /var/log/lpg.log

2、在控制台监控到了/var/log/lpg.log文件

【大数据】LPG日志采集方案（官网入门案例）,大数据

这也就印证了Promtail的作用：监控服务器的特定目录（默认是/var/log）的变化并把日志发送给Loki。

3、继续验证

  • 如果在/var/log/test.sql中输入内容，能被监控到吗？
  • 如果在/var/log/fire/spring.log中输入内容，能被监控到吗？

3.2. 测试2：Grafana可视化查看日志

实验目的：通过可视化平台Grafana查看Promtail监控的日志

实验过程：

  1. 登录Grafana，账号密码为admin:admin，登录成功后需要添加Loki为数据源，访问地址：http://192.168.56.123:3000/

    【大数据】LPG日志采集方案（官网入门案例）,大数据

  2. 运行docker-compose.yml脚本后默认添加了一个Loki数据源

    【大数据】LPG日志采集方案（官网入门案例）,大数据

  3. 查看下默认添加的数据源。之后你也可以设置下你的Loki访问地址，点击Save&test保存并测试，显示绿色提示信息表示设置成功。

    下图中的http://loki:3100是loki是脚本安装的network，可以了解下docker network

    【大数据】LPG日志采集方案（官网入门案例）,大数据

  4. 接下来在Explore选择Loki，并输入查询表达式（Loki query）为{filename="/var/log/lpg.log"}，就可以看到测试1的日志了

    【大数据】LPG日志采集方案（官网入门案例）,大数据

3.3. 测试3：可以预见部署Spring Boot程序的日志也可以被Grafana查看

实验目的：分布式监控Spring Boot的日志

实验过程：

在实验中，随便新建了一个Spring Boot应用，在Spring Boot的配置文件application.yml中通过logger.path=/var/log指定了日志的输出目录是/var/log，Spring Boot日志文件默认输出名称是spring.log，也就是说/var/log/spring.log文件作为输出的日志文件。该文件符合Promtail配置的规则/var/log/*.log，所以应该会被监控到，最后在可视化平台Grafana查看是否可以查询到日志。

步骤如下：

1、Spring Boot应用的application.yml部分配置内容

# 配置日志文件的输出目的地
logging:
  path: /var/log

2、准备好的Spring Boot应用的jar包，上传到Promtail服务器

3、启动应用，观察/var/log/spring.log是否有内容

java -jar fire-tiny-loki-1.0-SNAPSHOT.jar
tail -f /var/log/spring.log

4、在可视化平台Grafana搜索日志

登录http://loki:3100，接下来在Explore选择Loki，并输入查询表达式（Loki query）为{filename="/var/log/spring.log"}，就可以看到测试1的日志了

【大数据】LPG日志采集方案（官网入门案例）,大数据

**总结：**每一台服务器都需要部署一个Promtail服务，服务监控特定日志目录，当目录发生变化时把内容发送给Loki进行日志存储，最后在Grafana可视化平台可以看到所有微服务的日志信息。

3.4. 踩坑记录

作者属实是被坑惨了，把踩坑过程记录下来以为后事之师。

在实验1介绍了，Promtail默认是监控/var/log目录的，但是发生了一些奇怪的问题，作者的/var/log/fire/spring.log、/var/log/test.sql等等这些文件都无法通过Grafana可视化平台查到，为啥，o(╯□╰)o

分析过程：

1、能监控到一些文件如前文的/var/log/lpg.log，但是一些文件又监控不到，猜测可能是配置问题

2、进入Promtail容器查看配置文件/etc/promtail/config.yml，部分内容如下：

# ...
# 部分内容
scrape_configs:
- job_name: system
  static_configs:
  - targets:
      - localhost
    labels:
      job: varlogs
      __path__: /var/log/*.log

3、观察配置文件的__path__: /var/log/*log，按照这个配置只会监控/var/log目录下以.log结尾的文件，那么我们配置的/var/log/fire/spring.log、/var/log/test.sql自然就不会被查询到。既然问题找到那就查询官网，__path__采用glob patterns，那把配置修改为为/var/log/**/*.log试试，这种配置风格也类似ant-style风格，在Spring中也常用，应该问题不大，那就开始修改吧

4、直接修改容器的/etc/promtail/config.yml配置内容，但Promtail容器默认没有安装vi等编辑命令，但是没事，我们用Linux最最最原始的echo命令来覆写/etc/promtail/config.yml文件（主要是偷懒，这种最简单）

# 1、先进入容器
docker exec -it lpg-promtail-1 /bin/bash
# 2、cat查看内容
cat /etc/promtail/config.yml
# 3、把内容复制到编辑器进行编辑
# 只改动一行，把/var/log/*.log改为/var/log/**/*.log
# 4、把编辑后的内容输出了...处开始覆写
echo '...' > /etc/promtail/config.yml
# 5、最后退出promtail容器

重启3个容器

docker-compose down
docker-compose up

5、重启后，创建几个新文件并通过http://192.168.56.123:3100访问

⚠️⚠️⚠️特别注意⚠️⚠️⚠️，下图中filename特指promtail配置中的__path__: /var/log/**/*.log，所以使用诸如/app/logs/fire/spring.log肯定就访问不到。毕竟主机跟可视化工具Grafana有毛线关系，只有Promtail跟Grafana有关系！

【大数据】LPG日志采集方案（官网入门案例）,大数据

6、通过主机与容器挂载的方式修改Promtail配置文件（5、6步骤任选其一即可）

在主机上修改配置文件，通过主机与容器挂载的方式间接修改了Promtail配置文件，具体步骤如下：

  • 停止docker-compose，并删除原来创建的3个docker容器

    # 停止容器
docker-compose down
# 删除容器
docker rm lpg-grafana-1;
docker rm lpg-loki-1;
docker rm lpg-promtail-1;

  • 主机上新建配置文件/app/etc/promtail/config.yml文件

    拷贝附录中config.yml文件

    # 创建目录
mkdir -p /app/etc/promtail
# 复制附录内容填写到...位置
echo '...' > /app/etc/promtail/config.yml

    对文件进行微调__path__即可

    # ...
# 部分内容
scrape_configs:
- job_name: system
  static_configs:
  - targets:
      - localhost
    labels:
      job: varlogs
      __path__: /var/log/**/*.log

  • 修改部分docker-compose.yml脚本内容如下：

    # 创建目录
mkdir -p /app/logs

      # 日志收集器
  promtail:
    image: grafana/promtail
    container_name: lpg-promtail
    volumes:
      # 把主机的/app/logs挂载到容器的/var/log
      - /app/logs/:/var/log/
      - /app/etc/promtail:/etc/promtail/
    # 这里指的是容器内部的/etc/promtail/promtail.yml文件
    command: -config.file=/etc/promtail/promtail.yml

  • 一些准备就绪重启docker-compose

    docker-compose up

  • 重启后，创建几个新文件并通过http://192.168.56.123:3100访问，也是完全没有问题的

4. 官方入门案例介绍

前言：请准备好Linux的Docker compose环境

在本文前面的部分，单纯的是LPG的入门并没有引入其它一些组件，而在官方的入门案例介绍中体系更庞大引入了其它一些组件。下面我们来一起体验下！官方Getting starting地址

本指南帮助读者创建和使用一个简单的Loki集群。该集群旨在进行测试、开发和评估；它将不能满足大多数生产要求。

实验过程介绍：

1、测试环境运行flog应用程序来生成日志行。

2、Promtail是测试环境的代理（或客户端），它捕获日志行并通过网关将它们推送到Loki集群。

在一个典型的环境中，日志生成应用程序和代理程序一起运行，

3、Grafana提供了一种针对存储在Loki中的日志提出查询并可视化查询结果的方法。

架构图：

【大数据】LPG日志采集方案（官网入门案例）,大数据

下面对上图简单说明：

  • flog 是一个开发的测试日志生成器，它可以生成一些常见（如Apache、Nginx、RFC3164或Json）格式的日志

  • Promtail监控产生的日志，并推送到gateway（即nginx）的接口。

    flog 和 Promtail用虚线框起来，理解为客户端

  • gateway 其实就是nginx实现请求转发

    1、转发Promtail推日志的请求

    2、转发Grafana查日志的请求

  • Loki write component 负责写gateway推送过来的日志

  • Loki read component 负责读取存储在MiniO中的日志

  • Grafana 是可视化平台，可用于浏览器访问日志

官方入门案例实验步骤：

4.1. 获得测试环境

1、准备一个单独的目录

mkdir evaluate-loki
cd evaluate-loki

注：启动容器后flog生成的日志是存在在当前文件夹（即evaluate-loki）的隐藏目录.data中。

2、下载 loki-config.yaml, promtail-local-config.yaml, and docker-compose.yaml 3个脚本

wget https://raw.githubusercontent.com/grafana/loki/main/examples/getting-started/loki-config.yaml -O loki-config.yaml
wget https://raw.githubusercontent.com/grafana/loki/main/examples/getting-started/promtail-local-config.yaml -O promtail-local-config.yaml
wget https://raw.githubusercontent.com/grafana/loki/main/examples/getting-started/docker-compose.yaml -O docker-compose.yaml

因为网站在国外默认是无法访问的的，作者提供了我下载好的脚本一个3个脚本可直接使用。读者也可以用参考博客解决 raw.githubusercontent.com 无法访问的问题尝试解决。本文末尾的附录也提供了完整的脚本和说明。

4.2. 部署环境

进入evaluate-loki当前目录，使用下面的命令后台启动

docker-compose up

启动后在控制台可以看到间隔有日志输出，这是flog在起作用输出日志。每一条json日志都被Promtail通过gateway推送到了接口/loki/api/v1/push。

【大数据】LPG日志采集方案（官网入门案例）,大数据

访问下http://192.168.56.123:3101/ready看看loki read有没有准备好

【大数据】LPG日志采集方案（官网入门案例）,大数据

访问下http://192.168.56.123:3102/ready看看loki write有没有准备好

查看下docker-compose.yaml脚本中定义的docker容器有没有都启动，都启动应该就没有大问题了。可以看到一共启动了7个服务。

【大数据】LPG日志采集方案（官网入门案例）,大数据

4.3. 使用Grafana测试

登录http://192.168.56.123:3000，默认已经配置好了一个datasource，接下来点击Explore选择Loki，并输入查询表达式（Loki query）为{container="evaluate-loki-flog-1"}，点击查询。

【大数据】LPG日志采集方案（官网入门案例）,大数据

反复点击查询可以查看最新的flog生成的日志，日志每秒一条跟flog的配置完全符合。官网还提供了其他很多查询表达式可自行尝试。

{container="evaluate-loki-flog-1"} |= "GET"
{container="evaluate-loki-flog-1"} |= "POST"
{container="evaluate-loki-flog-1"} | json | status="401"
{container="evaluate-loki-flog-1"} != "401"

4. 附录

4.1. docker-compose脚本文件

脚本文件中定义了3个服务，分别是loki、promtail、grafana，了解下脚本文件还是有必要的！

原始docker-compose文件内容如下（添加了备注）：

version: "3"

# 创建docker容器的网络，方便互通
networks:
  loki:

services:
  loki:
    image: grafana/loki:2.8.0
    ports:
      - "3100:3100"
    # loki执行的命令是容器中的/etc/loki/local-config.yaml来启动loki
    command: -config.file=/etc/loki/local-config.yaml
    networks:
      - loki

  promtail:
    image: grafana/promtail:2.8.0
    # 执行主机与docker容器的文件挂载关系
    volumes:
      - /var/log:/var/log
    # promtail执行的命令是容器中的/etc/promtail/config.yml来启动promtail
    command: -config.file=/etc/promtail/config.yml
    networks:
      - loki

  grafana:
    environment:
      - GF_PATHS_PROVISIONING=/etc/grafana/provisioning
      - GF_AUTH_ANONYMOUS_ENABLED=true
      - GF_AUTH_ANONYMOUS_ORG_ROLE=Admin
    # grafana启动所执行的脚本
    entrypoint:
      - sh
      - -euc
      - |
        mkdir -p /etc/grafana/provisioning/datasources
        cat <<EOF > /etc/grafana/provisioning/datasources/ds.yaml
        apiVersion: 1
        datasources:
        - name: Loki
          type: loki
          access: proxy 
          orgId: 1
          url: http://loki:3100
          basicAuth: false
          isDefault: true
          version: 1
          editable: false
        EOF
        /run.sh
    image: grafana/grafana:latest
    ports:
      - "3000:3000"
    networks:
      - loki

4.2. local-config.yaml文件

使用docker容器中的/etc/loki/local-config.yaml来启动loki。从loki容器中拿出来的原始文件内容如下（添加了备注）：

auth_enabled: false

server:
  http_listen_port: 3100

common:
  path_prefix: /loki
  storage:
    filesystem:
      chunks_directory: /loki/chunks
      rules_directory: /loki/rules
  replication_factor: 1
  ring:
    kvstore:
      store: inmemory

schema_config:
  configs:
    - from: 2020-10-24
      store: boltdb-shipper
      object_store: filesystem
      schema: v11
      index:
        prefix: index_
        period: 24h

ruler:
  alertmanager_url: http://localhost:9093

# By default, Loki will send anonymous, but uniquely-identifiable usage and configuration
# analytics to Grafana Labs. These statistics are sent to https://stats.grafana.org/
#
# Statistics help us better understand how Loki is used, and they show us performance
# levels for most users. This helps us prioritize features and documentation.
# For more information on what's sent, look at
# https://github.com/grafana/loki/blob/main/pkg/usagestats/stats.go
# Refer to the buildReport method to see what goes into a report.
#
# If you would like to disable reporting, uncomment the following lines:
#analytics:
#  reporting_enabled: false

4.3. config.yml文件

使用docker容器中的/etc/promtail/config.yml来启动promtail。从promtail容器中拿出来的原始文件内容如下（添加了备注）：

server:
  http_listen_port: 9080
  grpc_listen_port: 0

positions:
  filename: /tmp/positions.yaml

clients:
  - url: http://loki:3100/loki/api/v1/push

scrape_configs:
- job_name: system
  static_configs:
  - targets:
      - localhost
    labels:
      job: varlogs
      __path__: /var/log/*.log
  • erver 属性配置了 Promtail 作为 HTTP 服务器的行为。
  • positions 属性配置了 Promtail 保存文件的位置，表示它已经读到了文件什么程度。当 Promtail 重新启动时需要它，以允许它从中断的地方继续读取日志。
  • scrape_configs 属性配置了 Promtail 如何使用指定的发现方法从一系列目标中抓取日志。
    • static_configs 抓取日志静态目标配置，静态配置允许指定一个目标列表和标签集
    • label 定义一个要抓取的日志文件和一组可选的附加标签，以应用于由__path__定义的文件日志流。

详细的配置参考：

  • Promtail 配置文件说明：https://cloud.tencent.com/developer/article/1824988

  • Promtail官方文档：https://grafana.com/docs/loki/latest/clients/promtail/configuration/

4.4. 官方入门案例脚本

4.4.1. docker-compose.yaml

这个脚本是docker-compose的构建脚本，简单介绍下：

1、定义了架构图中的几个服务（如：flog、nginx、promtail、loki read、loki write、minio、grafana）

2、各个服务的启动基本上是通过command或sh脚本方式启动的

  • flog、loki read、loki write、promtail就是通过command方式
  • nginx、minio、grafana就是通过sh脚本方式

3、服务之间是有依赖关系的

  • 如loki read、loki write都依赖于minio，minio才是最后提供存储服务的

4、通过volumes挂载服务就使用到了下载的loki-config.yaml、promtail-local-config.yaml配置文件文章来源地址https://www.toymoban.com/news/detail-625708.html

---
version: "3"

networks:
  loki:

services:
  read:
    image: grafana/loki:2.8.3
    command: "-config.file=/etc/loki/config.yaml -target=read"
    ports:
      - 3101:3100
      - 7946
      - 9095
    volumes:
      - ./loki-config.yaml:/etc/loki/config.yaml
    depends_on:
      - minio
    healthcheck:
      test: [ "CMD-SHELL", "wget --no-verbose --tries=1 --spider http://localhost:3100/ready || exit 1" ]
      interval: 10s
      timeout: 5s
      retries: 5
    networks: &loki-dns
      loki:
        aliases:
          - loki

  write:
    image: grafana/loki:2.8.3
    command: "-config.file=/etc/loki/config.yaml -target=write"
    ports:
      - 3102:3100
      - 7946
      - 9095
    volumes:
      - ./loki-config.yaml:/etc/loki/config.yaml
    healthcheck:
      test: [ "CMD-SHELL", "wget --no-verbose --tries=1 --spider http://localhost:3100/ready || exit 1" ]
      interval: 10s
      timeout: 5s
      retries: 5
    depends_on:
      - minio
    networks:
      <<: *loki-dns

  promtail:
    image: grafana/promtail:2.8.3
    volumes:
      - ./promtail-local-config.yaml:/etc/promtail/config.yaml:ro
      - /var/run/docker.sock:/var/run/docker.sock
    command: -config.file=/etc/promtail/config.yaml
    depends_on:
      - gateway
    networks:
      - loki

  minio:
    image: minio/minio
    entrypoint:
      - sh
      - -euc
      - |
        mkdir -p /data/loki-data && \
        mkdir -p /data/loki-ruler && \
        minio server /data
    environment:
      - MINIO_ROOT_USER=loki
      - MINIO_ROOT_PASSWORD=supersecret
      - MINIO_PROMETHEUS_AUTH_TYPE=public
      - MINIO_UPDATE=off
    ports:
      - 9000
    volumes:
      - ./.data/minio:/data
    healthcheck:
      test: [ "CMD", "curl", "-f", "http://localhost:9000/minio/health/live" ]
      interval: 15s
      timeout: 20s
      retries: 5
    networks:
      - loki

  grafana:
    image: grafana/grafana:latest
    environment:
      - GF_PATHS_PROVISIONING=/etc/grafana/provisioning
      - GF_AUTH_ANONYMOUS_ENABLED=true
      - GF_AUTH_ANONYMOUS_ORG_ROLE=Admin
    depends_on:
      - gateway
    entrypoint:
      - sh
      - -euc
      - |
        mkdir -p /etc/grafana/provisioning/datasources
        cat <<EOF > /etc/grafana/provisioning/datasources/ds.yaml
        apiVersion: 1
        datasources:
          - name: Loki
            type: loki
            access: proxy
            url: http://gateway:3100
            jsonData:
              httpHeaderName1: "X-Scope-OrgID"
            secureJsonData:
              httpHeaderValue1: "tenant1"
        EOF
        /run.sh
    ports:
      - "3000:3000"
    healthcheck:
      test: [ "CMD-SHELL", "wget --no-verbose --tries=1 --spider http://localhost:3000/api/health || exit 1" ]
      interval: 10s
      timeout: 5s
      retries: 5
    networks:
      - loki

  gateway:
    image: nginx:latest
    depends_on:
      - read
      - write
    entrypoint:
      - sh
      - -euc
      - |
        cat <<EOF > /etc/nginx/nginx.conf
        user  nginx;
        worker_processes  5;  ## Default: 1

        events {
          worker_connections   1000;
        }

        http {
          resolver 127.0.0.11;

          server {
            listen             3100;

            location = / {
              return 200 'OK';
              auth_basic off;
            }

            location = /api/prom/push {
              proxy_pass       http://write:3100\$$request_uri;
            }

            location = /api/prom/tail {
              proxy_pass       http://read:3100\$$request_uri;
              proxy_set_header Upgrade \$$http_upgrade;
              proxy_set_header Connection "upgrade";
            }

            location ~ /api/prom/.* {
              proxy_pass       http://read:3100\$$request_uri;
            }

            location = /loki/api/v1/push {
              proxy_pass       http://write:3100\$$request_uri;
            }

            location = /loki/api/v1/tail {
              proxy_pass       http://read:3100\$$request_uri;
              proxy_set_header Upgrade \$$http_upgrade;
              proxy_set_header Connection "upgrade";
            }

            location ~ /loki/api/.* {
              proxy_pass       http://read:3100\$$request_uri;
            }
          }
        }
        EOF
        /docker-entrypoint.sh nginx -g "daemon off;"
    ports:
      - "3100:3100"
    healthcheck:
      test: ["CMD", "service", "nginx", "status"]
      interval: 10s
      timeout: 5s
      retries: 5
    networks:
      - loki

  flog:
    image: mingrammer/flog
    command: -f json -n 1000 -l
    networks:
      - loki

4.4.2. loki-config.yaml

---
server:
  http_listen_port: 3100
memberlist:
  join_members:
    - loki:7946
schema_config:
  configs:
    - from: 2021-08-01
      store: boltdb-shipper
      object_store: s3
      schema: v11
      index:
        prefix: index_
        period: 24h
common:
  path_prefix: /loki
  replication_factor: 1
  storage:
    s3:
      endpoint: minio:9000
      insecure: true
      bucketnames: loki-data
      access_key_id: loki
      secret_access_key: supersecret
      s3forcepathstyle: true
  ring:
    kvstore:
      store: memberlist
ruler:
  storage:
    s3:
      bucketnames: loki-ruler

4.4.3. promtail-local-config.yaml

---
server:
  http_listen_port: 9080
  grpc_listen_port: 0

positions:
  filename: /tmp/positions.yaml

clients:
  - url: http://gateway:3100/loki/api/v1/push
    tenant_id: tenant1

scrape_configs:
  - job_name: flog_scrape 
    docker_sd_configs:
      - host: unix:///var/run/docker.sock
        refresh_interval: 5s
    relabel_configs:
      - source_labels: ['__meta_docker_container_name']
        regex: '/(.*)'
        target_label: 'container'

到了这里，关于【大数据】LPG日志采集方案（官网入门案例）的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处： 如若内容造成侵权/违法违规/事实不符，请点击违法举报进行投诉反馈，一经查实，立即删除！

分享到：
领支付宝红包 赞助服务器费用

相关文章

  • 1、电商数仓（用户行为采集平台）数据仓库概念、用户行为日志、业务数据、模拟数据、用户行为数据采集模块、日志采集Flume

    1、电商数仓（用户行为采集平台）数据仓库概念、用户行为日志、业务数据、模拟数据、用户行为数据采集模块、日志采集Flume

    数据仓库（ Data Warehouse ），是为企业制定决策，提供数据支持的。可以帮助企业，改进业务流程、提高产品质量等。 数据仓库的输入数据通常包括：业务数据、用户行为数据和爬虫数据等。 业务数据：就是各行业在处理事务过程中产生的数据。比如用户在电商网站中登录、

    2024年02月12日
    浏览(44)
  • 大数据之路-日志采集（第二章）

    大数据之路-日志采集（第二章）

    阿里巴巴的日志采集体系方案包括两大体系： Ap us.JS Web（基于浏览器）日志采集技术方案： UserTrack APP 端（无线客户端 日志采集技术方案。 本章从浏览器的页面日志采集、无线客户端的日志采集以及我们遇到的日志采集挑战三块内容来阐述间里巴巴的日志采集经验。 浏览器

    2024年01月25日
    浏览(45)
  • （二十三）大数据实战——Flume数据采集之采集数据聚合案例实战

    （二十三）大数据实战——Flume数据采集之采集数据聚合案例实战

    本节内容我们主要介绍一下Flume数据采集过程中，如何把多个数据采集点的数据聚合到一个地方供分析使用。我们使用hadoop101服务器采集nc数据，hadoop102采集文件数据，将hadoop101和hadoop102服务器采集的数据聚合到hadoop103服务器输出到控制台。其整体架构如下： ①在hadoop101服务

    2024年02月09日
    浏览(49)
  • Hadoop生态圈中的Flume数据日志采集工具

    Hadoop生态圈中的Flume数据日志采集工具

    数据采集一般指的是将数据采集到大数据环境下进行持久化、海量化的保存，目的主要是为了我们后期的大数据处理（数据统计分析、数据挖掘等等）沉底数据基础。 不同的来源的数据我们一般有不同的数据采集方式 1、数据来源于我们的RDBMS关系型数据库：Sqoop数据迁移工具

    2024年02月08日
    浏览(45)
  • 大数据技术之Hadoop(八)——Flume日志采集系统

    大数据技术之Hadoop(八)——Flume日志采集系统

    目录 素材 一、Flume的概述 1、Flume的认识 2、Flume的运行机制 （1）Source(数据采集器) （2）Channel(缓冲通道) （3）Sink(接收器) 3、Flume的日志采集系统结构 （1）简单结构 （2）复杂结构 二、Flume的基本使用 1、系统要求 2、Flume安装 （1）下载Flume （2）解压 （3）重命名 （4）配置

    2024年02月09日
    浏览(46)
  • 【数仓】通过Flume+kafka采集日志数据存储到Hadoop

    【数仓】通过Flume+kafka采集日志数据存储到Hadoop

    【数仓】基本概念、知识普及、核心技术 【数仓】数据分层概念以及相关逻辑 【数仓】Hadoop软件安装及使用（集群配置） 【数仓】Hadoop集群配置常用参数说明 【数仓】zookeeper软件安装及集群配置 【数仓】kafka软件安装及集群配置 【数仓】flume软件安装及配置 【数仓】flum

    2024年03月17日
    浏览(59)

  • ElasticSearch+Kibana+Filebeat 采集日志内的json数据

    方式有很多，以下是我学习中自己写的。 要被采集的日志： 在ElasticSearch创建pipeline(管道)： 在“Kibana-Stack Management-采集管道-创建管道” 或者 在“Kibana-开发工具-控制台”运行以下代码

    2024年02月08日
    浏览(37)
  • 日志采集传输框架之 Flume，将监听端口数据发送至Kafka

    日志采集传输框架之 Flume，将监听端口数据发送至Kafka

    1、简介                 Flume 是 Cloudera 提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传 输的系统。Flume 基于流式架构，主要有以下几个部分组成。  主要组件介绍： 1）、 Flume Agent 是一个 JVM 进程，它以事件的形式将数据从源头送至目的。Agent 主

    2024年01月22日
    浏览(56)
  • filebeat采集日志数据到kafka（一）（filebeat-＞kafka-＞logstash-＞es）

    filebeat采集日志数据到kafka（一）（filebeat-＞kafka-＞logstash-＞es）

    一、filebeat安装 filebeat-kafka版本适配 1、安装包下载 https://www.elastic.co/cn/downloads/past-releases#filebeat 解压 2、新建yml配置文件，如test.yml 3、Filebeat启动和停止 启动：./filebeat -c test.yml 停止：kill -9 PID

    2024年02月16日
    浏览(88)
  • 【实时数仓】介绍、需求分析、统计架构分析和ods层日志行为数据采集

    【实时数仓】介绍、需求分析、统计架构分析和ods层日志行为数据采集

    普通的实时计算 优先考虑时效性，所以从数据源采集经过实时计算直接得到结果。如此做时效性更好，但是弊端是由于计算过程中的中间结果没有沉淀下来，所以当面对大量实时需求的时候，计算的复用性较差（如B想要使用A的结果），开发成本随着需求增加直线上升。 实时

    2023年04月23日
    浏览(52)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包，优惠每天领

二维码1

领取红包

二维码2

领红包