IT运维:SIEM在鸿鹄中的应用

这篇具有很好参考价值的文章主要介绍了IT运维:SIEM在鸿鹄中的应用。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

引言

SIEM ( Security, Information, and Event Management)安全信息和事件管理,它是一种安全解决方案,可提供对事件的实时监控和分析,以及出于合规性或审计目的跟踪和记录安全数据。

SIEM 大多数提供核心的功能,包含日志管理,事件关联和分析,事件监控和安全报警。

  • 日志管理:从企业中捕获事件数据,包括网络设备、应用程序、资产、云环境等

  • 事件管理和分析:事件关联利用高级分析来识别和理解复杂的数据模式

  • 事件监控和安全警报:监控企业中的安全事件,通过关联规则生成图表来实现安全事件监控,并且可以触发警报,从而及时采取措施来避免更加严重的安全问题

基于鸿鹄的SIEM

在实际场景中的,我们着重需要考虑SIEM的安全性、易用性、可扩展性,主要考虑如下方面:

需要是国产的,具有完全的自主知识产权,安全可控

能否提供多种数据导入的方式

能够支持多样的日志格式

具备即时分析的能力,避免在ETL上花费大量时间

具备高效的结构化/半结构化数据存储,可对时间戳自动识别和分析,根据时间对数据分片;对数据进行分词,构建倒排索引

具备强大的搜索功能,搜索快速高效,支持跨库、异构数据关联、即时探索分析的交互式查询

具备灵活多样的图表和交互式的仪表板体验

根据我们的需求,经过综合的比较后,我们选择鸿鹄数据平台。鸿鹄数据平台提供了包括数据导入、数据存储分析和数据可视化等模块。

它的读时建模引擎可以快速导入和存储异构数据,进行灵活的异构数据建模以及关联分析,支持动态调整数据模型和分析参数,无需固化模型和分析流程,当数据源格式或业务模式发生变化后,只需调整SQL查询分析语言,无需重新导入和清洗数据,从而快速响应需求变化。

部署实施

本文是基于鸿鹄数据平台进行SIEM的初步部署,并非完全环境。在已经实现部分设备日志收集的基础上,进行初步的安全分析、关联分析、图表展示。仅供大家参考。

前提

目前我们已经将如下的数据通过syslog的方式发送到鸿鹄数据平台,由鸿鹄平台进行统一的数据存储。主要设备包含:

网络设备:H3C交换机、深信服防火墙、深信服上网行为管理

服务器设备:Dell服务器

存储设备:PowerStore存储

鸿鹄vector配置

Vector作为数据采集器,可以接收设备的syslog日志,并转发鸿鹄平台。Vector配置方法参考下文:

安装Vector

IT运维:SIEM在鸿鹄中的应用,运维,大数据,云原生,数据分析,时序数据库

查看安装后vector版本,确认安装成功

vector安装好后,直接执行vector 时,系统首先会去/usr/bin下寻找命令,如果不在这个目录中,就会找不到了。这个时候我们就需要为这些找不到的命令建立一个链接文件,链接到/usr/bin下  

IT运维:SIEM在鸿鹄中的应用,运维,大数据,云原生,数据分析,时序数据库

登录鸿鹄平台,数据管理>新建数据集

IT运维:SIEM在鸿鹄中的应用,运维,大数据,云原生,数据分析,时序数据库

IT运维:SIEM在鸿鹄中的应用,运维,大数据,云原生,数据分析,时序数据库

编辑数据源名称,选择数据集范围为上面创建的“switch”,此时会启用

IT运维:SIEM在鸿鹄中的应用,运维,大数据,云原生,数据分析,时序数据库

创建syslog.toml脚本,需要调整字段

address = "0.0.0.0:514":0.0.0.0表示接收所有主机发送过来的syslog,514表示接收的端口(syslog默认为514)

._target_table = "switch" : 表示上文你创建的数据集名称

mode = "udp":表示接收syslog的协议syslog默认为udp)

address = "172.20.6.111:9092":鸿鹄的IP和相应的端口

IT运维:SIEM在鸿鹄中的应用,运维,大数据,云原生,数据分析,时序数据库

运行修改的syslog脚本,注意保持运行状态。此时完成vector配置。

IT运维:SIEM在鸿鹄中的应用,运维,大数据,云原生,数据分析,时序数据库

Syslog配置

网络设备配置syslog

H3C交换机syslog配置

需要开启日志,并将日志发送到鸿鹄平台。默认情况下syslog是通过udp514端口发送日志

IT运维:SIEM在鸿鹄中的应用,运维,大数据,云原生,数据分析,时序数据库

将 IP 地址为 172.20.6.111的主机用作日志主机,使用 loghost 通道发送信息(可选,系统缺省为

loghost 通道),使用 local5 作为日志主机记录工具。

IT运维:SIEM在鸿鹄中的应用,运维,大数据,云原生,数据分析,时序数据库

注意:这里可以指定发送日志的源地址,可以不指定,一般情况下为了方便辨识,建议指定

IT运维:SIEM在鸿鹄中的应用,运维,大数据,云原生,数据分析,时序数据库

注意:如果是要通过管理口发送日志,管理口由于配置了VPN-Instance,需要指定VPN-Instance

IT运维:SIEM在鸿鹄中的应用,运维,大数据,云原生,数据分析,时序数据库

配置输出规则:允许所有模块、级别高于等于 informational 的日志信息输出到日志主机。

IT运维:SIEM在鸿鹄中的应用,运维,大数据,云原生,数据分析,时序数据库

我这里的实际配置命令

IT运维:SIEM在鸿鹄中的应用,运维,大数据,云原生,数据分析,时序数据库

Cisco交换机syslog配置

在Cisco网络设备上的配置命令一般为:

在全局模式下<config>

IT运维:SIEM在鸿鹄中的应用,运维,大数据,云原生,数据分析,时序数据库

我这里的实际配置命令

IT运维:SIEM在鸿鹄中的应用,运维,大数据,云原生,数据分析,时序数据库

配置防火墙syslog

syslog配置>填写鸿鹄IP和端口号>应用

IT运维:SIEM在鸿鹄中的应用,运维,大数据,云原生,数据分析,时序数据库

配置服务器syslog

配置系统日志服务器,填写日志系统的IP,端口号默认

IT运维:SIEM在鸿鹄中的应用,运维,大数据,云原生,数据分析,时序数据库

开启警报

IT运维:SIEM在鸿鹄中的应用,运维,大数据,云原生,数据分析,时序数据库

设置发送到日志平台的警报类型

IT运维:SIEM在鸿鹄中的应用,运维,大数据,云原生,数据分析,时序数据库

配置PowerStore syslog

登录到PowerStore存储,Setting>Remote Logging>ADD

Host/IP Address 填写鸿鹄的地址

协议:默认是udp(与上文syslog.toml里一致)

端口号:默认514(与上文syslog.toml里一致)

Audit Type:全选

IT运维:SIEM在鸿鹄中的应用,运维,大数据,云原生,数据分析,时序数据库

SEND TEST MASSEGE,发送测试一个日志信息测试下鸿鹄是否收到

IT运维:SIEM在鸿鹄中的应用,运维,大数据,云原生,数据分析,时序数据库

在鸿鹄上查询下日志,发现已经收到存储发送的测试日志,至此配置syslog完成

IT运维:SIEM在鸿鹄中的应用,运维,大数据,云原生,数据分析,时序数据库

字段抽取

目前我们已经接入了交换机、防火墙、服务器、存储设备,我们需要先对日志字段进行抽取,以便于我们后续进行搜索与图表展示。

防火墙字段抽取

sangfor_syslog,这里是需要新建的视图名称

switch._time 脚本中由第六行开始switch均指的需要抽取数据的原数据集,这里需要根据你的数据集名称替换

where contains( switch._message, '日志类型') '日志类型'指的是你要搜索到这个写日志特定的字段,通过’日志类型‘可以限定日志里所有包含'日志类型'的日志

IT运维:SIEM在鸿鹄中的应用,运维,大数据,云原生,数据分析,时序数据库

sangfor_nat_syslog,这里是需要新建的视图名称

switch._time 脚本中由第六行开始switch均指的需要抽取数据的原数据集,这里需要根据你的数据集名称替换

where contains( switch._message, 'NAT') '日志类型'指的是你要搜索到这个写日志特定的字段,通过NAT可以限定日志里所有包含NAT的日志

IT运维:SIEM在鸿鹄中的应用,运维,大数据,云原生,数据分析,时序数据库

防火墙日志每个组件的日志格式各不相同,那么我们可能需要根据自己的情况进行多次字段抽取,上文已详述过字段抽取方法,这里只提供抽取字段脚本供参考

IT运维:SIEM在鸿鹄中的应用,运维,大数据,云原生,数据分析,时序数据库

交换机字段抽取

switch_syslog,这里是需要新建的视图名称

switch._time 脚本中由第六行开始switch均指的需要抽取数据的原数据集,这里需要根据你的数据集名称替换

IT运维:SIEM在鸿鹄中的应用,运维,大数据,云原生,数据分析,时序数据库

服务器字段抽取

idrac_syslog,这里是需要新建的视图名称

switch._time 脚本中由第六行开始switch均指的需要抽取数据的原数据集,这里需要根据你的数据集名称替换

where contains( switch._message, 'iDRAC') 'iDRAC'指的是你要搜索到这个写日志特定的字段,通过IDRAC可以限定日志里所有包含IDRAC的日志

IT运维:SIEM在鸿鹄中的应用,运维,大数据,云原生,数据分析,时序数据库

PowerStore字段抽取

ps_syslog,这里是需要新建的视图名称

switch._time 脚本中由第六行开始switch均指的需要抽取数据的原数据集,这里需要根据你的数据集名称替换

where contains( switch._message, 'powerstore') 'powerstore'指的是你要搜索到这个写日志特定的字段,通过powerstore可以限定日志里所有包含powerstore的日志

IT运维:SIEM在鸿鹄中的应用,运维,大数据,云原生,数据分析,时序数据库

图表展示

在现有设备日志的情况下,我们需要实现的监控效果如下:

所管理设备的概况,比如管理了哪些设备,这些设备的日志情况

设备的运行情况,比如设备是否有告警

安全事件,包含设备是否被密码暴力破解,密码嗅探;设备的配置变更是否合规

在实际场景中,如果我们查看图表时,想要所有的图表可以根据选择灵活的显示该怎么做,比如我想看1天的,想看7天的,那么这时候我们可以做一个”时间项“,方法如下:

时间选择

创建时间选择

编辑

IT运维:SIEM在鸿鹄中的应用,运维,大数据,云原生,数据分析,时序数据库

添加输入

IT运维:SIEM在鸿鹄中的应用,运维,大数据,云原生,数据分析,时序数据库

输入类型:选择时间

标记名称:time_range(这个用于给图表调用)

显示标签:这个时间项显示的名字

默认标记值:这里根据自己的情况选择,我一般选择相对时间,设置成30天

IT运维:SIEM在鸿鹄中的应用,运维,大数据,云原生,数据分析,时序数据库

确定后会生成一个时间选择的项

IT运维:SIEM在鸿鹄中的应用,运维,大数据,云原生,数据分析,时序数据库

调用时间选择

选择想要调用的图表,选择编辑查询

IT运维:SIEM在鸿鹄中的应用,运维,大数据,云原生,数据分析,时序数据库

将查询时间范围改为时间标记值,标记名称time_range(上文创建的时间选择时填写的标记名称)

IT运维:SIEM在鸿鹄中的应用,运维,大数据,云原生,数据分析,时序数据库

保存后就可以在”时间选择“里选择想要查看的时间,点击应用,图表就会根据时间变化了

IT运维:SIEM在鸿鹄中的应用,运维,大数据,云原生,数据分析,时序数据库

搜索语句

搜索语句是建立在已经字段抽取的前提下的,如果未抽取字段,那么很多调用了抽取字段的图表将不会显示。

小提示:在生成图表时,记得将图表的”查询时间范围“内标记名称改为time_range,以便调用时间选择

最终效果图

本文受限于对SQL语句只是初学阶段,所以很多分析只是基本的分析,供大家参考。鸿鹄本身SQL搜索功能强大,图表展示功能多样,大家可以自行发挥。

IT运维:SIEM在鸿鹄中的应用,运维,大数据,云原生,数据分析,时序数据库

IT运维:SIEM在鸿鹄中的应用,运维,大数据,云原生,数据分析,时序数据库文章来源地址https://www.toymoban.com/news/detail-635782.html

到了这里,关于IT运维:SIEM在鸿鹄中的应用的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 数据分析:方差分析在R语言中的应用

    方差分析的R语言实现包括以下部分: 数据导入 数据清洗 ANOVA计算 结果解析 ANOVA评估 参考教程Analysis_of_Variance 随机生成数据 存储数据 txt数据格式 xlsx数据格式 筛选数据:丢弃A组数据 数据平均值和其他指标 展示数据: boxplot one-way ANOVAs: 使用aov函数运行单因素方差分析 (公式

    2024年04月26日
    浏览(34)
  • 机器学习在大数据分析中的应用

    🎉欢迎来到AIGC人工智能专栏~探索机器学习在大数据分析中的应用 ☆* o(≧▽≦)o *☆嗨~我是IT·陈寒🍹 ✨博客主页:IT·陈寒的博客 🎈该系列文章专栏:AIGC人工智能 📜其他专栏:Java学习路线 Java面试技巧 Java实战项目 AIGC人工智能 🍹文章作者技术和水平有限,如果文中出现

    2024年02月11日
    浏览(36)
  • 探索在云原生环境中构建的大数据驱动的智能应用程序的成功案例,并分析它们的关键要素。

    🎈个人主页:程序员 小侯 🎐CSDN新晋作者 🎉欢迎 👍点赞✍评论⭐收藏 ✨收录专栏:云计算 ✨文章内容:云原生 🤝希望作者的文章能对你有所帮助,有不足的地方请在评论区留言指正,大家一起学习交流!🤗 在云原生环境中构建大数据驱动的智能应用程序已经成为许多

    2024年02月10日
    浏览(32)
  • 随机矩阵理论在电力大数据分析中的应用

    0 哲学思想 之所以开这个专栏,记得导师在一次组会上问我一个问题:你对现阶段的世界怎么看? 然后突然我被问懵了,好好的专业问题,突然来了一个哲学问题,我有点措不及防,导师看我有点呆懵。然后就说到:“_ 现阶段的世界,是一个随机性的一个世界,我们现阶段

    2024年04月22日
    浏览(31)
  • Python在金融大数据分析中的AI应用实战

    💂 个人网站:【 海拥】【神级代码资源网站】【办公神器】 🤟 基于Web端打造的:👉轻量化工具创作平台 💅 想寻找共同学习交流的小伙伴,请点击【全栈技术交流群】 随着人工智能时代的到来,Python作为一种功能强大的编程语言,在金融领域的大数据分析中扮演着日益重

    2024年02月03日
    浏览(34)
  • Spark在数据科学中的应用案例分析

    Spark在数据科学中的应用案例分析 在数据科学领域,Apache Spark已经成为一个不可或缺的工具。其强大的分布式计算能力和丰富的数据处理功能使得数据科学家能够高效地处理大规模数据集,并从中提取有价值的信息。本文将通过几个具体的应用案例来分析Spark在数据科学中的

    2024年02月02日
    浏览(46)
  • 大数据在营销分析中的应用:如何提升销售效果

    大数据在现代社会中发挥着越来越重要的作用,尤其是在营销分析领域。随着数据的产生和收集量越来越大,如何有效地利用大数据来提升销售效果成为了企业和营销人员的关注焦点。本文将从大数据在营销分析中的应用角度进行探讨,为读者提供一些实用的方法和技巧。

    2024年02月22日
    浏览(29)
  • 神经决策树在物联网数据分析中的应用与优化

    物联网(Internet of Things,简称IoT)是指通过互联网将物体和日常生活中的各种设备连接起来,使得物体和设备能够互相传递信息,协同工作。随着物联网技术的不断发展,我们的生活、工作、交通等各个方面都受到了其影响。 在物联网中,数据是非常宝贵的。物联网设备会产生

    2024年02月19日
    浏览(29)
  • 智能建筑中的大数据分析:概述,应用,安全和隐私问题

    作者:禅与计算机程序设计艺术 近年来,智能建筑、智慧城市等新兴的概念层出不穷,人们对智能建筑、智慧城市追求的是从根本上解决环境问题、提升社会生活品质、实现经济社会效益的目标。智能建筑可谓是国际化进程中最具代表性的新兴产业领域之一。智能建筑即“未

    2024年02月15日
    浏览(29)
  • python在财务分析中的应用,用python做财务数据分析

    大家好,本文将围绕python在财务分析中的应用展开说明,用python做财务数据分析是一个很多人都想弄明白的事情,想搞清楚python与财务数据分析需要先了解以下几个事情。 Python 是一种流行的编程语言,通常用卜丛于处理财务数据。一个常见的纯盯应用是在数据分析和数据科

    2024年02月03日
    浏览(34)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包