三分钟了解什么是时序数据库

这篇具有很好参考价值的文章主要介绍了三分钟了解什么是时序数据库。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

在介绍时序数据库之前,我们先来看看什么是时序数据。时序数据就是基于时间排序的数据,再通过时间坐标将这些数据连接起来,形成一个折线图,直观地展示一个指标在过去一段时间内的走势和规律,帮助定位数据异常点。

时序数据库就是用来存储这些时序数据的数据库。与传统数据库相比,时序数据库需要能够长时间保存数据,且需要实时展示,这就要求时序数据库能做到持久化存储,以及数据读写的高性能。此外,对于一些复杂的场景,比如广告业务的多维度多指标,时序数据库还需要做到多维查询、指标聚合等。

一、时序数据库的特点

  1. 数据写入
  • 数据实时写入。
  • 高并发写入。
  • 无须更新或删除操作(除了修复数据)。
  • 连续性:时序数据会按照指定的时间粒度持续写入。
  1. 数据读取
  • 写多读少:时序数据的写入是持续的,但是一般并不会持续地读取数据,只有在需要的时候才会查询最近一段时间内的指定维度指标。
  • 多时间粒度读取:一般来说,我们会对最近7天的数据以一个比较细的时间粒度来存储一个相对精确的值,而对于7天或者一个月以前的数据,通常会把它们聚合成一个比较粗的时间粒度存储,比如按照小时或者天来存储,以便节省磁盘空间,提高读取历史数据的效率。
  • 指定维度读取:在广告业务中,时序数据存储的维度可能有成百上千个,那么在读取数据时不会把所有的维度都读取出来,因为这样做不仅没必要,而且对系统的I/O也是一个极大的考验。所以,只会选择读取所需要的维度和指标。
  • 实时聚合:通常实时的时序数据存储的是不同维度下的一个比较细的时间粒度数据,查询时需要在不同维度下对一个或多个指标进行各种聚合的操作,如 sum、max、avg等。
  1. 数据存储
  • 按列存储:通过数据的查询特征,可以发现时序数据更适合将一个指标放在一起存储,任何列都能被作为索引。在读取数据时,只会读取所需要的维度所在的列,这样就可以大大减小I/O的损耗和内存的使用,提高执行效率。
  • 以不同的时间粒度存储:数据的读取特征决定了可以将历史数据聚合成一个比较粗的粒度存储,将最近的数据以一个比较细的粒度存储,这样可以大大减少磁盘的使用空间。
  • 冷热存储:通常我们只会查询最近一天或者7天的数据,而半年或一年以前的数据使用率很低,因此可以把历史的冷数据和最近的热数据分开存储,以提高读取数据的效率,减少磁盘的使用空间。

二、时序数据库的特性

上面介绍的时序数据库的这些特点,决定了时序数据库具有以下特性。

  • 高并发、高吞吐量,实时写入和读取数据。
  • 高可用性、高可靠性,分布式架构、数据分片。
  • 支持海量数据存储,一般时序数据都是TB或PB级别的体量。
  • 支持数据聚合分析,满足实时的多维聚合分析。

三、时序数据库的组成

  • Timestamp:这是时序数据库的关键所在,因为是以时间排序的数据,所以需要记录所有数据的时间。
  • Metric:需要存储的指标数据有很多,比如在广告业务中,分析用到的指标更是成千上万,那么在时序数据库中就需要通过Metric字段来标识每个指标数据,如QPS、Status等。
  • Dimension:数据的属性,比如数据类型、地域、年龄、性别等。而一般指标的结果都是基于单维度或多维度分析得到的。比如在广告业务中,一个指标有时需要上百个维度经过不同的组合得到不同的结果。

四、时序数据库的模型

下图显示了在同一个时间、不同维度下QPS的变化情况。其中地域和性别就是Dimension,北京、上海等就是地域维度的类别,QPS就是Metric,QPS列的数据就是QPS指标每秒钟在地域和性别组合维度下的值。

时序数据库,数据库,数据挖掘,大数据文章来源地址https://www.toymoban.com/news/detail-628271.html

到了这里,关于三分钟了解什么是时序数据库的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 【数据挖掘】国科大苏桂平老师数据库新技术课程作业 —— 第四次作业

    云计算与云数据库背景 云计算(cloud computing)是 IT 技术发展的最新趋势,正受到业界和学术界的广泛关注。云计算是在分布式处理、并行处理和网格计算等技术的基础上发展起来的,是一种新兴的共享基础架构的方法。它可以自我维护和管理庞大的虚拟计算资源(包括计算

    2024年02月04日
    浏览(54)
  • Elasticsearch 对比传统数据库:深入挖掘 Elasticsearch 的优势

    当你为项目选择数据库或搜索引擎时,了解每个选项的细微差别至关重要。 今天,我们将深入探讨 Elasticsearch 的优势,并探讨它与传统 SQL 和 NoSQL 数据库的比较。 Elasticsearch 以强大的 Apache Lucene 库为基础,是一个分布式搜索和分析引擎。 它以其速度、可扩展性以及快速索引

    2024年02月10日
    浏览(48)
  • 时序数据库

    在时间序列数据库TDengine中, FILL 函数与 GROUP BY 子句结合使用,提供了对于在指定间隔内可能存在的数据空缺的填充策略。 FILL(PREV) 和 FILL(linear) 是 FILL 函数的不同选项,它们填充数据缺失值的方式有所区别: FILL(PREV) :当数据序列中存在时间间隔内没有数据的情况时, FIL

    2024年01月22日
    浏览(35)
  • 时序数据库influxdb笔记

    官方资料 flux语言资料 https://docs.influxdata.com/flux/v0.x/ https://docs.influxdata.com/flux/v0.x/get-started/data-model/ flux语言官方已准备在3.0放弃请务必注意 influxdb资料 https://docs.influxdata.com/influxdb/v2.7/install/?t=Linux https://www.influxdata.com/influxdb/ 安装 1、linux平台下 1)下载 2)解压 3)添加账户(

    2024年02月12日
    浏览(41)
  • [时序数据库]:InfluxDB进阶

    摘要:InfluxQL;InfluxQL工具类;influxdb.java客户端 针对新版Influx V2.0 版本数据库: 其一,influx支持两种查询语言,flux和InfluxQL,然后InfluxQL在高版本中已没有得到较好维护,因而,在后续开发中,笔者采用Influx V1.x 版本来进行开发。 针对使用新版Influx数据库,目前在其上做操做

    2024年02月12日
    浏览(36)
  • 理解时序数据库的时间线

    在当今数据爆炸的时代,时序数据已经成为企业和组织中不可或缺的一部分。它们包括了从传感器、监控设备、日志记录系统和金融交易等多种来源的大量数据,这些数据按照时间顺序排列,记录了各种事件和活动的发生和变化。时序数据的分析和处理对于企业的业务决策和

    2024年02月06日
    浏览(38)
  • QuestDB时序数据库快速入门

    QuestDB是一个开源的高性能时序数据库,专门用于处理时间序列相关的数据存储与查询; QuestDB使用列式存储模型。数据存储在表中,每列存储在其自己的文件和其自己的本机格式中。新数据被附加到每列的底部,以便能够按照与摄取数据相同的顺序有机地检索数据。 随着业务

    2024年01月19日
    浏览(39)
  • 时序数据库TDengine窗口函数

    select ts, lp_index, max(lp_value),  lp_project_id, lp_variable_uri,  lp_time_ticks, lp_value_type_value, lp_value, lp_unit from weixingdata.tdm_lp_original_data where  lp_time_ticks = \\\'2023-11-27 12:38:41\\\'                 and lp_time_ticks =  \\\'2023-11-27 14:38:41\\\'       and  lp_project_id = \\\'0A66F139-F8BF-485A-9F3B-DECD40C3E6D9\\\'      and

    2024年02月20日
    浏览(49)
  • TDengine时序数据库学习使用

    数据库要求: 1.目前服务器只能在linux运行,先安装服务器版本v1 2.下载与v1完全匹配的客户端版本v1(客户端与服务器的版本号不匹配可能访问不了服务器) 安装服务器注意,安装教程: 使用安装包立即开始 | TDengine 文档 | 涛思数据! 软件下载地址: 所有下载链接 - TDengine

    2024年02月07日
    浏览(45)
  • TDengine时序数据库通俗易懂教程

    1.1产品简介 TDengine 是一款开源、高性能、云原生的时序数据库,且针对物联网、车联网、工业互联网、金融、IT运维等场景进行了优化。TDengine的代码,包括集群功能,都在 GNU AGPL v3.0 下开源。除核心的时序数据库功能外,TDengine还提供缓存、数据订阅、流式计算等其它功能以

    2024年02月07日
    浏览(81)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包