Presto VS Spark

这篇具有很好参考价值的文章主要介绍了Presto VS Spark。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

环境配置

5个节点,每个节点10G内存。

测试SQL,每个执行3次,求平均,对比计算性能。

版本信息

  • Spark:2.3.1
  • Presto: 0.208

10亿量级查询性能对别

Spark:

spark-sql> select sex,count(1) from contact10 group by sex;
F 499976538
M 500023462
Time taken: 2.55 seconds, Fetched 2 row(s)

Presto:

presto> select sex,count(1) from contact10 group by sex;
sex | _col1
-----+-----------
M | 500023462
F | 499976538
(2 rows)

Query 20180827_131349_00018_8qdyf, FINISHED, 5 nodes
Splits: 1,019 total, 1,019 done (100.00%)
0:05 [1000M rows, 123MB] [215M rows/s, 26.4MB/s]

Spark计算比Presto快一倍,胜出。

1000W量级查询性能对比

平分秋色,Spark会好那么一丢丢。

  • Spark: 0.43s
  • Presto: 0.5s

100条以内的表查询性能对比

Presto无论聚合计算,还是全表扫描查询,都略比Spark有优势,不过总的查询不大,性能优势可以忽略。

  • Spark:0.19s
  • Presto:0.11s

发现的问题

Presto: 不支持Hive的View

结论

测试结果上和京东的朋友做的对比测试确实比较吻合。

从生态及性能两方面考虑,Presto相比Spark2.x确实没啥优势了。文章来源地址https://www.toymoban.com/news/detail-422230.html

到了这里,关于Presto VS Spark的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • jenkins——环境变量、节点配置以及节点环境变量的使用

    Jenkins 环境变量就是通过 env 暴露出来的全局变量,可以在 Jenkins 文件的任何位置使用 a、系统内置环境变量 BUILD_NUMBER BUILD_URL JOB_NAME GIT_URL b、用户自定义环境变量 全局环境变量入口 Dashboard - 系统管理(Manage Jenkins) - 系统配置(Configure System)- 全局属性 linux部署:$变

    2023年04月26日
    浏览(50)
  • 117.填充每个节点的下一个右侧节点 II

    ​​ 题目来源:         leetcode题目,网址:117. 填充每个节点的下一个右侧节点指针 II - 力扣(LeetCode) 解题思路:        按层遍历时修改 next 指针即可,每一层除最后一个元素 的next 指针指向空外,皆指向同层下一个元素。 解题代码: 总结:         官方题解给出了

    2024年02月06日
    浏览(44)
  • 云计算实验2 Spark分布式内存计算框架配置及编程案例

    掌握分布式多节点计算平台Spark配置,Spark编程环境IDEA配置,示例程序启动与运行 Linux的虚拟机环境、线上操作视频和实验指导手册 完成Spark开发环境安装、熟悉基本功能和编程方法。 请按照线上操作视频和实验指导手册 ,完成以下实验内容: 实验2-1 Spark安装部署:Standal

    2023年04月13日
    浏览(63)
  • LeetCode 116. 填充每个节点的下一个右侧节点指针

    给定一个 完美二叉树 ,其所有叶子节点都在同一层,每个父节点都有两个子节点。二叉树定义如下: 填充它的每个 next 指针,让这个指针指向其下一个右侧节点。如果找不到下一个右侧节点,则将 next 指针设置为 NULL。 初始状态下,所有 next 指针都被设置为 NULL。 示例 示

    2024年02月05日
    浏览(50)
  • LeetCode-116-填充每个节点的下一个右侧节点指针

    一:题目描述: 给定一个 完美二叉树 ,其所有叶子节点都在同一层,每个父节点都有两个子节点。二叉树定义如下: 填充它的每个 next 指针,让这个指针指向其下一个右侧节点。如果找不到下一个右侧节点,则将 next 指针设置为 NULL。 初始状态下,所有 next 指针都被设置为

    2024年02月15日
    浏览(35)
  • 【Leetcode】116.填充每个节点的下一个右侧节点指针

    给定一个 完美二叉树 ,其所有叶子节点都在同一层,每个父节点都有两个子节点。二叉树定义如下: 填充它的每个 next 指针,让这个指针指向其下一个右侧节点。如果找不到下一个右侧节点,则将 next 指针设置为 NULL 。 初始状态下,所有 next 指针都被设置为 NULL 。 示例1:

    2024年02月12日
    浏览(38)
  • 二叉树:填充每个节点的下一个右侧节点指针(java)

    116题:填充每个节点的下一个右侧节点指针 给定一个 完美二叉树 ,其所有叶子节点都在同一层,每个父节点都有两个子节点。二叉树定义如下: 填充它的每个 next 指针,让这个指针指向其下一个右侧节点。如果找不到下一个右侧节点,则将 next 指针设置为 NULL。 初始状态下

    2024年02月07日
    浏览(39)
  • OpenCV+VS 环境配置(以OpenCV4.7.0+VS2022环境配置为例)

    下面以4.7.0版本的OpenCV与VS2022的环境配置为例进行介绍,其他版本的OpenCV与VS的环境配置也可参考本流程。 下载网址:https://opencv.org/releases/ 2.1 系统环境变量 1.右击桌面的此电脑图标,点击 属性→高级系统属性→高级→环境变量 。 2.找到 path 双击,添加红框里面的1个路径。

    2024年02月09日
    浏览(40)
  • 【每日一题】填充每个节点的下一个右侧节点指针 II

    【BFS】【树】【2023-11-03】 117. 填充每个节点的下一个右侧节点指针 II 为二叉树中的每一个节点填充下一个节点。 本题题目意思明确,我们只需要遍历二叉树每一层的节点,将节点的 next 指针指向同一层的下一个节点即可,属于二叉树层序遍历的基础题。 实现代码 复杂度分

    2024年02月05日
    浏览(41)
  • leetcode做题笔记116. 填充每个节点的下一个右侧节点指针

    给定一个  完美二叉树  ,其所有叶子节点都在同一层,每个父节点都有两个子节点。二叉树定义如下: 填充它的每个 next 指针,让这个指针指向其下一个右侧节点。如果找不到下一个右侧节点,则将 next 指针设置为  NULL 。 初始状态下,所有 next 指针都被设置为  NULL 。

    2024年02月10日
    浏览(44)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包