trino tpcds测试

这篇具有很好参考价值的文章主要介绍了trino tpcds测试。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

先下载tpcds-kit(有Linux和macOS),根据其文档生成数据和查询的sql。

然后hive-testbench,在ddl-tpcds/text/alltables.sql中有建表语句(用hive建表)。

建完表后LOAD DATA local INPATH "/Users/ding/tools/tpcds-kit/data/web_site.dat" OVERWRITE INTO TABLE tpcds.web_site;导入数据到对应表里。

写test.sh和trino-tpcds.sh两个脚本跑99条sql(q72可能失败,可将其删除)
test.sh如下

#!/bin/bash
for sql in `find tpcds-queries -type f`
do 
	sh trino-tpcds.sh ${sql}
done

trino-tpcds.sh如下

#!/bin/bash
echo $1:
java -jar trino-cli-406-executable.jar --server IP_ADDRESS:8080  --catalog hive --schema tpcds  -f $1 --progress
echo "$1 end"

执行命令nohuo sh test.sh &

nohup会将命令的输出结果重定向到nohup.out中,然后vim nohup.out,通过搜索tpcds-queries关键字查看每条sql的运行时间

trino tpcds测试,Presto,trino,tpcds,presto文章来源地址https://www.toymoban.com/news/detail-724069.html

到了这里,关于trino tpcds测试的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • Presto 安装部署与介绍

    presto官网:Presto: Free, Open-Source SQL Query Engine for any Data Presto简介: Presto 是由 Facebook 开发的一个分布式 SQL 查询引擎, 它被设计为用来专门进行高速、实时的数据分 析。它的产生是为了解决 Hive 的 MapReduce 模型太慢以及不能通过 BI 或 Dashboards 直接展现 HDFS 数 据等问题。 Pres

    2023年04月09日
    浏览(40)
  • Presto VS Spark

    5个节点,每个节点10G内存。 测试SQL,每个执行3次,求平均,对比计算性能。 Spark:2.3.1 Presto: 0.208 Spark: Presto: Spark计算比Presto快一倍,胜出。 平分秋色,Spark会好那么一丢丢。 Spark: 0.43s Presto: 0.5s Presto无论聚合计算,还是全表扫描查询,都略比Spark有优势,不过总的查询不

    2023年04月23日
    浏览(31)
  • Presto集群安装部署

    2020年12月27日,PrestoSQL为了更好的与Facebook的Presto进行区分而改名为Trino。PrestoSQL/Trino是一种分布式SQL查询引擎,旨在查询分布在一个或多个异构数据源上的大型数据集 PrestoSQL官网:https://trino.io PrestoSQL官方文档:https://trino.io/docs/current/overview.html 更多关于Presto的介绍详见文章

    2024年02月04日
    浏览(35)
  • 1. Presto基础

    一、presto基础操作 二、时间函数 0、当前日期/当前时间 1、转时间戳 1)字符串转时间戳 (推荐) 即:‘2019-04-26’ 转换成 2019-04-26 00:00:00.000 2)按照format指定的格式,将字符串string解析成timestamp。 注:字符串格式和format格式需保持一致,以下为错误示例: 注:时间戳格式化

    2024年02月02日
    浏览(43)
  • 2. Presto应用

    1、Presto安装使用 参考官方文档:https://prestodb.io/docs/current/ Presto是一个高效的查询分析引擎,支持多种数据源,例如(Hive、MySQL、MD、Kafka等),内部查询是基于内存操作的,相比较Spark效率更高,而且更大的特点在于可以自定义内存空间,设置内存使用大小。 安装部署 测试

    2024年02月02日
    浏览(43)
  • presto连接mongodb

    1.包下载 2.创建配置目录 3.特定于每个节点的环境配置 4.Java虚拟机的命令行选项

    2024年02月16日
    浏览(39)
  • Presto自定义函数

    创建目录META-INF/services 创建文件 com.facebook.presto.spi.Plugin,指明你所实现的Plugin位置 实现Plugin接口

    2024年02月13日
    浏览(41)
  • 深入探讨 Presto 中的缓存

    【squids.cn】 全网zui低价RDS,免费的迁移工具DBMotion、数据库备份工具DBTwin、SQL开发工具等 Presto是一种流行的开源分布式SQL引擎,使组织能够在多个数据源上大规模运行交互式分析查询。缓存是一种典型的提高 Presto 查询性能的优化技术。它为 Presto 平台提供了显着的性能和效

    2024年02月07日
    浏览(66)
  • Presto的介绍、使用和原理架构

    介绍 Presto是一款Facebook开源的MPP架构的OLAP查询引擎,可针对不同数据源执行大容量数据集的一款分布式SQL执行引擎,数据量支持GB到PB字节,主要用来处理秒级查询的场景。 Presto 本身并不存储数据, ,但是可以接入多种数据源,并且支持跨数据源的级联查询,而且基于内存

    2024年02月03日
    浏览(45)
  • 数据库:Hive转Presto(二)

    继续上节代码,补充了replace_func函数,        

    2024年02月07日
    浏览(37)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包