Presto集群安装部署

这篇具有很好参考价值的文章主要介绍了Presto集群安装部署。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。




1、PrestoSQL概述


2020年12月27日,PrestoSQL为了更好的与Facebook的Presto进行区分而改名为Trino。PrestoSQL/Trino是一种分布式SQL查询引擎,旨在查询分布在一个或多个异构数据源上的大型数据集

PrestoSQL官网:https://trino.io

PrestoSQL官方文档:https://trino.io/docs/current/overview.html

更多关于Presto的介绍详见文章:传送门

本文主要详细介绍PrestoSQL的安装部署过程

Presto-330版本里已经提到,jdk8只支持到2020-03月发行的版本。详情参考:https://prestosql.io/docs/current/release/release-330.html

Presto-315是最后一个支持jdk8环境的版本,如果想使用更新版本的Presto,可以为Presto单独指定jdk11。本文Presto安装部署使用Presto-315版本

2、PrestoSQL安装部署

2.1、集群规划


在单独一台服务器上配置Coordinator,有利于提高集群性能,因此,可以在node01上配置Coordinator,在node02、node03上配置Worker。当然也可以将在Coordinator所在的节点上部署Worker

本次Presto安装部署使用如下规划:

Host Coordinator Worker
node01
node02 ×
node03 ×

2.2、安装部署

2.2.1、Presto Server安装

1) 下载安装包:https://repo1.maven.org/maven2/io/prestosql/presto-server/315/

2)presto-server-315.tar.gz上传到node01服务器上,并解压,修改名称为presto-315

tar -zvxf presto-server-315.tar.gz -C /opt/module/

3) 在安装目录presto-315下创建存储Presto数据(日志等)的目录 (Presto集群的每台机器都要创建)

mkdir -p /data

4) 在安装目录presto-315下创建etc目录,用来存放各种配置文件

mkdir etc
2.2.2、Presto Server配置文件

Persto-Server启动需要node.propertiesjvm.configconfig.propertieslog.properties及连接Catalog数据源5大配置

  • node.properties:每个节点的环境配置
  • jvm.config:JVM的命令行选项
  • config.properties:Presto Server的配置项
  • log.properties:日志文件配置
  • catalog/hive.properties:数据源连接器的配置,例如Hive数据源

1)Node Properties

在etc目录下,新建node.properties配置文件配置Presto集群属性(其它节点修改node.id

vim node.properties

node.properties

# 集群名称,环境名称,自己任取。集群中的所有Presto节点必须具有相同的环境名称
node.environment=dev
# 节点唯一标识符,支持字母、数字。这个标识符应该在重启或升级Presto时保持一致
node.id=1
# 指定Presto的日志和其它数据的存储目录(前面创建好的数据目录)
node.data-dir=/opt/module/presto-315/data

2)JVM Config

在etc目录下,新建jvm.config配置文件配置启动JVM时候需要使用的命令行选项

vim jvm.config

jvm.config

# 参考官方给的配置,根据自身机器实际内存进行配置
-server
# 最大jvm内存
-Xmx16G
# 指定GC的策略
-XX:+UseG1GC
-XX:G1HeapRegionSize=32M
-XX:+UseGCOverheadLimit
-XX:+ExplicitGCInvokesConcurrent
-XX:+HeapDumpOnOutOfMemoryError
-XX:+ExitOnOutOfMemoryError
-XX:ReservedCodeCacheSize=256M

3)Config Properties

在etc目录下,新建config.properties配置文件用于指定Coordinator和Worker节点,并配置一些相关属性

vim config.properties

config.properties(Coordinator节点)文章来源地址https://www.toymoban.com/news/detail-756283.html

# 该节点是否作为Coordinator,如果是true就允许该Presto实例充当协调器
coordinator=true
# 是否允许在协调器上调度工作(即配置Worker节点)
# 对于较大的集群,协调器上的处理工作可能会影响查询性能,因为机器的资源无法用于调度、管理和监视查询执行的关键任务
# 如果不想在协调器所在的节点配置Worker节点,改为false即可
node-scheduler.include-coordinator=true
# 指定HTTP服务器的访问端口,可以自己指定。Presto使用HTTP进行所有内部和外部通信
http-server.http.port=8090
# 每个查询可以使用的最大分布式内存量
query.max-memory=10GB
# 查询可在任何一台计算机上使用的最大用户内存量
query.max-memory-per-node=1GB
# 查询可在任何一台计算机上使用的最大用户和系统内存量,其中系统内存是读取器

到了这里,关于Presto集群安装部署的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 分钟级实时数据分析的背后——实时湖仓产品解决方案

    随着信息技术的深入应用,企业对市场的响应速度也在不断提升,而且这种响应速度正在变得越来越快,没有最快只有更快。对数据实时性要求的提高,是眼下很多企业遇到的一个新的挑战。 从生产侧的视角来看,系统实时监控与实时健康状态检测已成为确保系统稳定性和可

    2024年02月19日
    浏览(42)
  • 大数据存储架构详解:数据仓库、数据集市、数据湖、数据网格、湖仓一体

    本文隶属于专栏《大数据理论体系》,该专栏为笔者原创,引用请注明来源,不足和错误之处请在评论区帮忙指出,谢谢! 本专栏目录结构和参考文献请见大数据理论体系 《分布式数据模型详解:OldSQL => NoSQL => NewSQL》 《分布式计算模型详解:MapReduce、数据流、P2P、RPC、

    2024年02月15日
    浏览(45)
  • Centos7安装Docker,安装DockerCompose(集群化部署),Docker私服镜像仓库

    Docker 分为 CE 和 EE 两大版本。CE 即社区版(免费,支持周期 7 个月),EE 即企业版,强调安全,付费使用,支持周期 24 个月。 Docker CE 分为 stable test 和 nightly 三个更新频道。 官方网站上有各种环境下的 安装指南,这里主要介绍 Docker CE 在 CentOS上的安装。 Docker CE 支持 64 位版

    2024年02月04日
    浏览(71)
  • Presto 安装部署与介绍

    presto官网:Presto: Free, Open-Source SQL Query Engine for any Data Presto简介: Presto 是由 Facebook 开发的一个分布式 SQL 查询引擎, 它被设计为用来专门进行高速、实时的数据分 析。它的产生是为了解决 Hive 的 MapReduce 模型太慢以及不能通过 BI 或 Dashboards 直接展现 HDFS 数 据等问题。 Pres

    2023年04月09日
    浏览(39)
  • 【Spark+Hadoop+Hive+MySQL+Presto+SpringBoot+Echarts】基于大数据技术的用户日志数据分析及可视化平台搭建项目

    点我获取项目数据集及代码 随着我国科学技术水平的不断发展,计算机网络技术的广泛应用,我国已经步入了大数据时代。在大数据背景下,各种繁杂的数据层出不穷,一时难以掌握其基本特征及一般规律,这也给企业的运营数据分析工作增添了不小的难度。在大数据的背景

    2024年02月10日
    浏览(62)
  • k8s集群部署harbor镜像仓库

    目录 一 安装部署           部署环境 二安装docker, docker-compose 三解压Harbor文件 四配置HTTPS证书 五配置Harbor YML文件 六运行安装程序脚本 七测试命令登陆仓库  https://192.168.100.13  1,登录harbor 2,然后重启docker.service 重启Harbor   3,登录私有仓库 4,创建k8s项目  5,推送命

    2024年02月11日
    浏览(48)
  • 8月《中国数据库行业分析报告》已发布,聚焦数据仓库、首发【全球数据仓库产业图谱】

    为了帮助大家及时了解中国数据库行业发展现状、梳理当前数据库市场环境和产品生态等情况,从2022年4月起,墨天轮社区行业分析研究团队出品将持续每月为大家推出最新《中国数据库行业分析报告》, 持续传播数据技术知识、努力促进技术创新与行业生态发展 ,目前已更

    2024年02月10日
    浏览(63)
  • HBase在大数据集群的安装部署及整合Phoenix

    前提:需要保证三台虚拟机hadoop102-104已经部署好基本配置。未完成的可以参考:https://blog.csdn.net/weixin_73195042/article/details/135886619 上传HBase安装包到/opt/software文件夹内 配置环境变量 在末尾添加 使用 source 让配置的环境变量生效 将环境变量分发到其他虚拟机上,并且也要sour

    2024年04月27日
    浏览(50)
  • 数据仓库系列:StarRocks 下一代高性能分析数据仓库的架构、数据存储及表设计

    本文是学习StarRocks的读书笔记,让你快速理解下一代高性能分析数据仓库的架构、数据存储及表设计。 StarRocks的架构相对简单。 整个系统只包含两种类型的组件,前端(FE)和后端(BE),StarRocks不依赖任何外部组件,简化了部署和维护。 FE和BE可以在不停机的情况下横向扩展。

    2024年02月16日
    浏览(64)
  • 数据中台的数据分析与可视化:从数据仓库到数据中台

    作者:禅与计算机程序设计艺术 数据中台(Data Mart)是一种新的IT架构模式,它可以帮助企业解决现代企业信息化发展中的关键问题:海量数据的存储、分析处理和服务,包括但不限于报表生成、数据质量管理、数据驱动的业务决策、流量调控、风险预测等。数据中台融合了

    2024年02月09日
    浏览(41)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包