云计算项目十一:构建完整的日志分析平台

这篇具有很好参考价值的文章主要介绍了云计算项目十一:构建完整的日志分析平台。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

  1. 检查k8s集群环境,master主机操作,确定是ready
    云计算项目十一:构建完整的日志分析平台,云计算,云计算
  2. 启动harbor
[root@harbor ~]# cd /usr/local/harbor
[root@harbor harbor]# /usr/local/bin/docker-compose up -d 
  1. 检查head插件是否启动,如果没有,需要启动
[root@es-0001 ~]# systemctl restart httpd

构建完整的日志分析平台

制作apache镜像

# Dockerfile中所有的指令,必须是大写(例如:FROM RUN COPY等)
# FROM指定基础镜像,Dockerfile会对基础镜像进行编辑,生成新的镜像
# MAINTAINER指定创建镜像者的信息
# RUN指定制作命令,一条RUN就代表一条要在容器内执行的命令
# ENV指定环境变量
# EXPOSE 开启httpd服务要使用的端口 80和443
# WORKDIR 指定启动容器后,默认工作路径
# ADD 指拷贝,Dockerfile目录下文件,拷贝到容器内(tar.gz,tar.bz2格式会自动解压)
# CMD 指定默认启动命令
js主机的centos.tar.gz的镜像上传到master主机
[root@js ~]# scp /root/project3/centos.tar.gz 192.168.1.21:/root/
编写httpd的Dockerfile文件
[root@master ~]# docker load -i centos.tar.gz
[root@master ~]# mkdir bb
[root@master ~]# cd bb
[root@master bb]# cp /etc/yum.repos.d/CentOS-Base.repo ./
[root@master bb]# echo "hello world" > index.html
[root@master bb]# vim dockerfile
FROM centos:latest
RUM rm -rf /etc/yum.repos.d/*
ADD CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo
RUM yum -y install httpd
ENV LANG=C
EXPOSE 80
WORKDIR /var/www/html
ADD index.html /var/www/html/index.html
CMD ["/usr/sbin/httpd","-DFOREGROUND"]  
build创建新镜像:-t指定新镜像名字和标签;. 指定Dockerfile文件所在的目录
[root@master bb]# docker build -t myos:httpd .
验证结果
[root@master bb]# docker images
[root@master bb]# docker run -itd myos:httpd # 后台启动 因为是一个服务
[root@master bb]# docker ps # 查看正在运行的容器
[root@master bb]# docker inspect 800b21 # 查看容器的详细信息
[root@master bb]# curl http://172.17.0.2
上传镜像到harbor主机
[root@master bb]# docker tar myos:httpd 192.168.1.100:80/library/myos:httpd
[root@master bb]# docker push 192.168.1.100:80/library/myos:httpd

制作filebeat镜像

随便找一台机器 安装filebeat的软件包

[root@js ~]# scp /root/project3/ELK/filebeat-1.2.3-x86_64.rpm 192.168.1.72:/root/
[root@es-0002 ~]# yum -y install filebeat-1.2.3-x86_64.rpm
修改filebeat的配置文件
[root@es-0002 ~]# vim /etc/filebeat/filebeat.yml

云计算项目十一:构建完整的日志分析平台,云计算,云计算
云计算项目十一:构建完整的日志分析平台,云计算,云计算
云计算项目十一:构建完整的日志分析平台,云计算,云计算

启动pod

云计算项目十一:构建完整的日志分析平台,云计算,云计算
创建文件baseos.yaml,使用Secret regcred
云计算项目十一:构建完整的日志分析平台,云计算,云计算

云计算项目十一:构建完整的日志分析平台,云计算,云计算
云计算项目十一:构建完整的日志分析平台,云计算,云计算
云计算项目十一:构建完整的日志分析平台,云计算,云计算
还有一句:- name: regcred
云计算项目十一:构建完整的日志分析平台,云计算,云计算

配置logstash

云计算项目十一:构建完整的日志分析平台,云计算,云计算

配置kibana

云计算项目十一:构建完整的日志分析平台,云计算,云计算
云计算项目十一:构建完整的日志分析平台,云计算,云计算
云计算项目十一:构建完整的日志分析平台,云计算,云计算文章来源地址https://www.toymoban.com/news/detail-838307.html

到了这里,关于云计算项目十一:构建完整的日志分析平台的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 【Django学习】(十五)API接口文档平台_项目流程分析_日志器_认证_授权

    使用API接口文档不经可以很好的的维护接口数据,还给测试人员的接口测试工作带来了便利; 我们可以在全局配置文件中添加路由路径生成接口文档 1.1在全局配置文件里指定用于支持coreapi的Schema 1.2在全局路由表中添加路径   页面效果: 2.1 一定要先在配置表中注册drf_yas

    2024年02月15日
    浏览(61)
  • 【Spark+Hadoop+Hive+MySQL+Presto+SpringBoot+Echarts】基于大数据技术的用户日志数据分析及可视化平台搭建项目

    点我获取项目数据集及代码 随着我国科学技术水平的不断发展,计算机网络技术的广泛应用,我国已经步入了大数据时代。在大数据背景下,各种繁杂的数据层出不穷,一时难以掌握其基本特征及一般规律,这也给企业的运营数据分析工作增添了不小的难度。在大数据的背景

    2024年02月10日
    浏览(62)
  • 大数据技术之Hadoop(十一)——网站流量日志数据分析系统

    目录 素材: 一、模块开发——数据预处理 1、分析预处理的数据 2、实现数据的预处理 (1)创建Maven项目,添加相关依赖 (2)创建JavaBean对象,封装日志记录 (3)创建MapReduce程序,执行数据预处理  二、模块开发——数据仓库开发 1、上传文件 2、实现数据仓库 三、模块开

    2023年04月08日
    浏览(33)
  • Docker学习(二十一)构建 java 项目基础镜像

    JDK各版本官网下载地址: https://www.oracle.com/java/technologies/downloads/archive/#JavaSE 这里我们以 JDK 8u351 为例,点击 Java SE (8U211 and later) 。 点击下载 jdk-8u351-linux-x64.tar.gz 。 勾选接受协议,点击下载。(这里会需要登录一下,没有账号可以注册一个,Oracle账号以后也会用到) 下载后

    2024年02月07日
    浏览(40)
  • 实战篇:从零开始构建一个完整的校园一卡通平台

    ✍✍计算机编程指导师 ⭐⭐个人介绍:自己非常喜欢研究技术问题!专业做Java、Python、微信小程序、安卓、大数据、爬虫、Golang、大屏等实战项目。 ⛽⛽实战项目:有源码或者技术上的问题欢迎在评论区一起讨论交流! ⚡⚡ Java实战 | SpringBoot/SSM Python实战项目 | Django 微信小

    2024年01月20日
    浏览(95)
  • 【项目实战】基于Hadoop大数据电商平台用户行为分析与可视化系统Hive、Spark计算机程序开发

    注意:该项目只展示部分功能,如需了解,评论区咨询即可。 在当今数字化时代,电商行业成为全球商业生态系统的关键组成部分,电商平台已经深入各行各业,影响了人们的购物方式和消费习惯。随着互联网技术的不断发展,电商平台产生了大量的用户数据,包括点击、购

    2024年02月04日
    浏览(135)
  • 使用Filebeat+Kafka+Logstash+Elasticsearch构建日志分析系统

            随着时间的积累,日志数据会越来越多,当您需要查看并分析庞杂的日志数据时,可通过Filebeat+Kafka+Logstash+Elasticsearch采集日志数据到Elasticsearch中,并通过Kibana进行可视化展示与分析。本文介绍具体的实现方法。 Kafka是一种分布式、高吞吐、可扩展的消息队列服务,

    2024年02月04日
    浏览(47)
  • ELK企业级日志分析平台(一)

    主机部署应用: 主机 ip 角色 k8s1 192.168.56.171 cerebro server1 192.168.56.11 elasticsearch server2 192.168.56.12 elasticsearch server3 192.168.56.13 elasticsearch server4 192.168.56.14 logstash server5 192.168.56.15 kibana elasticsearch简介: Elasticsearch 是一个开源的分布式搜索分析引擎,建立在一个全文搜索引擎库Apac

    2024年02月07日
    浏览(88)
  • [含完整代码]Linux使用.sh脚本自动部署(启动|停止|状态|日志)项目[超详细]

    个人博客: www.wdcdbd.com   我们在linux部署.jar项目时,都需要通过java -jar的形式来部署,每次都要手动停止,部署,这样用起来会很麻烦。所以,这篇文章就是自己通过.sh脚本一键 启动 , 停止 , 重启 , 查看状态 , 查看日志 。这样会方便一些。  将你的java项目放到你lin

    2024年01月19日
    浏览(55)
  • 【云原生】【k8s】Kubernetes+EFK构建日志分析安装部署

    目录 EFK安装部署 一、环境准备(所有主机) 1、主机初始化配置 2、配置主机名并绑定hosts,不同主机名称不同 3、主机配置初始化 4、部署docker环境 二、部署kubernetes集群 1、组件介绍 2、配置阿里云yum源 3、安装kubelet kubeadm kubectl 4、配置init-config.yaml init-config.yaml配置 5、安装

    2024年02月12日
    浏览(39)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包