ES 如何将国际标准时间格式进行格式化与调整时区

这篇具有很好参考价值的文章主要介绍了ES 如何将国际标准时间格式进行格式化与调整时区。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

        需求,日志收集的时候,时间格式是国际标准时间格式。形如yyyy-MM-dd'T'HH:mm:ss.SSS。 (2023-12-05T02:45:50.282Z)这个时区也不对,那如何将此类型的时间,进行格式化呢?

        本篇文章体统一个案例,可以格式化各种类型的时间,已经调整到各个时区。

先看效果

es yyyy-mm-dd 't'hh:mm:ss,Elasticsearch,开发经验,elasticsearch,大数据,搜索引擎,es修正数据的时区,es pipeline,时间格式化

 如何做到?

        这里使用了es的 pipeline 来转换数据。因为日志是beat收集的,如果使用logstash收集日志,则可以在logstash上进行修改。这里并不需要引入新的技术,已经引入更多的资源开销。实际上logstash的资源开销还是很大的。固这里使用 pipeline 的方式。

添加一个 pipeline 管道

PUT _ingest/pipeline/angus_test_pipeline
{
  "description": "日期格式化示例",
  "processors": [
    {
      # 用到管道的时间处理
      "date": {
        # 要转换的字段。
        "field": "crawler_time",
        # 转换后的字段,这里是可以将字段转到另外一个字段上,也可以转回当前字段。
        "target_field": "crawler_time",
        # 注意这里是输入时间的格式,可以填多个。因为是标准时间,所以指定了ISO8601。这里一定要知道自己输入的时间格式,然后配置到这里。
        "formats": [
          "ISO8601"
        ],
        # 这里是输出字段的时间格式。然后会进行格式化。
        "output_format": "yyyy-MM-dd HH:mm:ss",
        # 如果想要调整时区,在这里修正时区。注意这是输出时间的时区。
        "timezone": "Asia/Shanghai"
      }
    }
  ]
}

创建索引,指定默认的管道

这里只用了最见到的配置,为了测试好演示。其它配置都是默认的。

PUT angus_temp
{
  "mappings": {
    "properties": {
      "crawler_time": {
        "type": "date",
        "format": "yyyy-MM-dd HH:mm:ss"
      }
    }
  },
  "settings": {
    "index": {
      "default_pipeline": "angus_test_pipeline"
    }
  }
}

添加一条时间测试

POST angus_temp/_doc/1
{
  "crawler_time":"2023-12-05T02:45:50.282Z"
}

验证结果

GET angus_temp/_search

es yyyy-mm-dd 't'hh:mm:ss,Elasticsearch,开发经验,elasticsearch,大数据,搜索引擎,es修正数据的时区,es pipeline,时间格式化

 文章来源地址https://www.toymoban.com/news/detail-806193.html

到了这里,关于ES 如何将国际标准时间格式进行格式化与调整时区的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 蚂蚁链牵头两项区块链国际标准在ITU成功立项

    近日,国际电信联盟第十六研究组(简称ITU-T SG16)召开全体会议。会上,由蚂蚁链牵头的两项区块链国际标准获得立项通过。包括: ITU-T H.DLT-SCLMR “Smart contract lifecycle management requirements for distributed ledger technology systems(分布式账本系统智能合约生命周期管理要求)” ITU-T

    2024年02月02日
    浏览(44)
  • 马士超:符合国际标准的沉浸式音频HOLOSOUND的发展与未来 | 演讲嘉宾公布

      一、3D音频      3D 音频分论坛 将于3月27日同期举办!      3D音频技术不仅能够提供更加真实、沉浸的虚拟世界体验,跨越时空的限制,探索未知的世界。同时,提供更加丰富、立体的情感表达和交流方式,让人类能够更加深入地理解彼此,建立更加紧密的联系。3D音频未

    2024年03月09日
    浏览(34)
  • HDShredder 7,符合 NCSC 及 NIST SP 800-88R1 等国际权威安全清除标准

    HDShredder 是德国 Miray 公司多年研发推出的符合国际数据销毁标准的数据清除软件,是国内外市场中为数不多的基于物理清除原理的数据清除软件。 HDShredder 用于在物理层面上彻底地清除 HDD, SSD, eMMC, NVMe, UFS, CompactFlash, SD/MMC 卡(甚至SAS, SCSI, IDE, RAID) 等存储介质的内容,也可以

    2024年02月04日
    浏览(25)
  • ISO发布区块链国际标准化成果,4个中国用例2个基于FISCO BCOS研发

    近日,国际标准化组织区块链和分布式记账技术委员会 (ISO/TC 307)发布了区块链领域的最新国际标准化成果《区块链与分布式账本技术 用例》(ISO/TR 3242:2022 Bloackchain and distributed ledger technologies-Use cases)。该技术报告收录了来自全球11个地区共计22个用例,我国多名专家参与

    2024年02月11日
    浏览(28)
  • 使用 uni-app 开发项目,日期和时间如何格式化?

    功能需求描述 在开发项目时,往往需要对从后端查询到的时间进行格式化,查到的时间格式一般都是 时间戳 ,一堆数字,这时候怎么转化成类似于  2023年8月15日 08:12:10  这样的格式? 在组件显示格式化后的日期 其实 uni-app 的官方拓展组件  uni-dateformat  就能实现这个需求

    2024年02月05日
    浏览(36)
  • 【js】时间和时间戳转换、日期格式化

    1、时间戳转换日期方法 (格式:2023-08-17) 2、日期字符串转时间戳 3、时间戳转换日期+时间方法 date:时间戳数字(格式:2023-08-17 14:11:01) 4、 获取日期中文格式

    2024年02月12日
    浏览(40)
  • MySQL 格式化时间

    MySQL是一个非常流行的关系型数据库管理系统,它提供了一种使用SQL语言来管理和操作数据库的方法。在MySQL中,时间格式化是一个常见的需求,但很多人可能并不了解如何正确格式化时间。在本文中,我们将介绍MySQL如何正确格式化时间。 MySQL日期和时间类型 MySQL中有许多日

    2024年02月12日
    浏览(72)
  • Python time时间格式化

    Python提供了多个内置模块用于操作日期时间,像calendar,time,datetime。time模块我在之前的文章已经有所介绍,它提供 的接口与C标准库time.h基本一致。相比于time模块,datetime模块的接口则更直观、更容易调用。今天就来讲讲datetime模块。 datetime模块定义了两个常量:datetime.MI

    2024年02月12日
    浏览(29)
  • unity获取和格式化时间

    在Unity中,可以使用DateTime结构来获取和格式化时间。例如获取2023 年 5 月 16 日 13:43:15 000 格式,精确到毫秒。 在上述示例中,DateTime.Now获取当前的日期和时间。然后,使用ToString方法将其格式化为指定的格式。格式字符串\\\"yyyy 年 M 月 d 日 HH:mm:ss.fff\\\"将日期和时间以所需的格式

    2024年02月14日
    浏览(31)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包