[技术选型] Trino介绍

这篇具有很好参考价值的文章主要介绍了[技术选型] Trino介绍。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

1.Trino介绍

trino,OLAP,大数据

EMR的数据湖架构以OSS和HDFS作为数据湖的存储层。在存储层的基础上,精心安装了存储优化器,主要是JindoFS和ALLUXIO系列。在存储格式方面,EMR的数据湖支持Hudi,Iceberg和ORC等格式。在计算层,它支持多种计算,比如Flink,Spark,Trino和Hive等等。

trino,OLAP,大数据

  • 稳定
  • 减少成本
  • 生态
  • 性能高

EMR Trino的特性, 首先在稳定向方面,EMR Trino支持内置Coordinator HA赫尔Worker Label功能。由于EMR Trino集成了EMR弹性伸缩的能力,并且支持Trino on K8s产品形态,所以它大大节省了运维成本。在生态方面,EMR Trino不但支持Iceberg、Hudi、Delta Connector等云上生态,而且支持优化的ClickHouse、Hive等Connector。在性能方面,EMR Trino针对Parquet/Orc等格式,进行优化。并且利用JindoFS的缓存层加速数据湖查询。大幅提升了查询效率。

2.客户案例

  • 在线教育
  • 社区领域
  • 电商领域

trino,OLAP,大数据

它每天的数据量高达几十亿条,同时还存在订单数据变更,特征人群圈选,机器学习训练等需求。原有的解决方案,存在数据处理不及时,无法应对Upsert场景,并且拉链表笨拙,耗费资源大。经过改造之后,完美支持Upsert场景,Presto可以查询明细数据,CK的宽表数也可供Ad-hoc查询,CK的物化视图供BI系统查询。

trino,OLAP,大数据

它每天有5TB的数据规模,需要支持实时大屏,业务系统点查和业务人员随机查询。在改造之前,Hive是分钟级数仓,它面临算不完,查不出,系统运维复杂的痛点。我们将宽表查询落入CK和Ad-hoc查询,将明细表落入StarRocks,实现了复杂Ad-hoc查询,报表分析,物化视图点查能力。让数据仓库的运维变得简单高效。

trino,OLAP,大数据

上图是某电商领域的客户,它的大量业务依赖OLTP系统,在GMV,订单,物流,客户分析,推荐系统等方面,都有升级的需求。原先的Hadoop数仓和离线T+1分析系统的方式,让整个系统运维复杂,成本居高不下。我们将OLTP系统逐步过渡到OLAP系统,替代了原有数仓结构的同时,让链路变得极其简化,让Ad-hoc查询灵活,方便运维人员分析细节数据,对接线上系统点查。简化系统的同时,提升了运维人员的工作效率,大幅降低了运维成本。文章来源地址https://www.toymoban.com/news/detail-606393.html

到了这里,关于[技术选型] Trino介绍的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 【大数据】Presto(Trino)配置参数以及 SQL语法

    Trino (前身为 PrestoSQL )是一款 高性能,分布式的SQL查询引擎 ,可以用于查询各种类型的数据存储,包括 Hive 、 Mysql 、 Elasticsearch 、 Kafka 、 PostgreSQL 等。在使用Trino时,可以通过一些参数来控制查询的行为,例如: coordinator 节点和 worker 节点的数量 : 这两个参数控制了Trino集群

    2024年02月09日
    浏览(46)
  • 大数据:Trino简介及ETL场景的解决方案

    Presto 在 Facebook 的诞生最开始是为了填补当时 Facebook 内部实时查询和 ETL 处理之间的空白。Presto 的核心目标就是提供交互式查询,也就是我们常说的 Ad-Hoc Query,很多公司都使用它作为 OLAP 计算引擎。但是随着近年来业务场景越来越复杂,除了交互式查询场景,很多公司也需要

    2024年02月08日
    浏览(36)
  • 【trino权威指南】使用trino详解:trino client安装、查询sql、DBeaver连接trino、java通过JDBC连接trino

    Trino CLI提供了一个基于终端的交互式shell。你可以通过它运行查询并与Trino服务端交互来 检查其元数据 。 下载地址:trino-cli-434-executable.jar     运行sql   连接trino时可以设置默认的catalog(某个连接实例)和schema(数据库),这样可以直接查询表。   USE默认的catalog和schema,直

    2024年02月04日
    浏览(80)
  • Iceberg-Trino 如何解决链上数据面临的挑战

    区块链数据公司,在索引以及处理链上数据时,可能会面临一些挑战,包括: 海量数据。随着区块链上数据量的增加,数据索引将需要扩大规模以处理增加的负载并提供对数据的有效访问。因此,它导致了更高的存储成本;缓慢的指标计算和增加数据库服务器的负载。 复杂

    2024年02月02日
    浏览(41)
  • Trino 源码剖析

    prerequisites Java 17.0.4+, 64-bit 或者 function 反射和注册 io.trino.operator.scalar.annotations.ScalarFromAnnotationsParser 这里是提取注解元素的方法 String baseName = scalarFunction.value().isEmpty() ? camelToSnake(annotatedName(annotated)) : scalarFunction.value(); 这里如果 scalarFunction 的注解没有没有值,直接对函数名进

    2024年02月07日
    浏览(36)
  • trino tpcds测试

    先下载tpcds-kit(有Linux和macOS),根据其文档生成数据和查询的sql。 然后hive-testbench,在ddl-tpcds/text/alltables.sql中有建表语句(用hive建表)。 建完表后 LOAD DATA local INPATH \\\"/Users/ding/tools/tpcds-kit/data/web_site.dat\\\" OVERWRITE INTO TABLE tpcds.web_site; 导入数据到对应表里。 写test.sh和trino-tpcds

    2024年02月07日
    浏览(30)
  • Trino安装使用及权限控制

    https://blog.csdn.net/shy_snow/article/details/130523338 Trino是一个分布式SQL查询引擎,旨在查询分布在一个或多个异构数据源上的大型数据集。支持丰富的数据源连接方式,支持库、表和字段级别的权限控制,以及支持通过资源组实现类似队列的资源使用控制。这些都需要手工进行配置,这

    2024年02月03日
    浏览(25)
  • Trino容错模式深度测评与思考

    本文分享自华为云社区《走向批处理-交互式分析一体化: Trino容错模式深度测评与思考》,作者:HetuEngine九级代言 。 本文系华为云大数据研发团队原创,原创作者:文博,梦月 2020年12月27日,Presto社区大佬们——Martin Traverso、 Dain Sundstrom 以及 David Phillips 宣布将开源项目

    2024年02月08日
    浏览(17)
  • 大数据OLAP查询引擎选型对比

            目前大数据比较常用的OLAP查询引擎包括:Presto、Impala、Druid、Kylin、Doris、Clickhouse、GreenPlum等。         不同引擎特点不尽相同,针对不同场景,可能每个引擎的表现也各有优缺点。下面就以上列举的几个查询引擎做简单介绍。         Presto是 Facebook 推出的一个

    2024年02月08日
    浏览(44)
  • trino常用语法和官方sql手册

    trino常用语法 trino数据库造简单表的语法模板 = 没有分区的sql 简单创建、查询、插入 =========== create table hive.youyou030310.even( id int, event_type varchar); insert into hive.youyou030310.even(id,event_type) values (1,‘点击’),(1,‘查看商品’),(1,‘购物’),(2,‘点击’),(2,‘查看商品’),(3,‘点击’)

    2024年02月05日
    浏览(37)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包