AnalyticDB for PostgreSQL 实时数据仓库上手指南

这篇具有很好参考价值的文章主要介绍了AnalyticDB for PostgreSQL 实时数据仓库上手指南。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

AnalyticDB for PostgreSQL 实时数据仓库上手指南

2019-04-016601

版权

本文涉及的产品

云原生数据仓库 ADB PostgreSQL,4核16G 50GB 1个月

推荐场景:

构建的企业专属Chatbot

立即试用

简介: AnalyticDB for PostgreSQL 提供企业级数据仓库云服务,基于开源Greenplum构建,采用MPP架构,支持1000+节点PB级数据的实时分析。

云数据库AnalyticDB for PostgreSQL是一种在线MPP大规模并行处理数据仓库服务,基于Greenplum 开源数据库项目,由阿里云深度扩展。其简单易用、海量扩展、兼容部分Oracle 语法生态、支持PL/SQL,标准事务隔离级别,支持行存储和列存储、即满足高性能在线交互分析需要,也可以进行离线数据处理清晰,主要特点有:

analyticdb postgresql,postgresql,数据仓库,etl

主要场景

analyticdb postgresql,postgresql,数据仓库,etl

1.实时数仓场景
通过数据传输服务 DTS 、数据集成工具DataX、开源同步工具 rds_dbsync 、 Kettle 等,同步交易库数据 到 ADBPG,构建实时数仓。
MySQL/PG ->DTS/DataX->ADBPG

2.大数据计算分析
批量同步MaxCompute/Hadoop/Spark/SLS 数据到ADB for PG,支撑在线交互分析
大数据平台/日志->DataX/OSS -> ADBPG

3.数据湖分析场景
数据按冷热分析,支持在线查询OSS分布式云存储上的格式化数据

架构介绍:

analyticdb postgresql,postgresql,数据仓库,etl

开通实例:
如何在AnalyticDBPostgreSQL版控制台上创建实例_云原生数据仓库AnalyticDB PostgreSQL版-阿里云帮助中心

客户端:
客户端如何连接云原生数据仓库AnalyticDBPostgreSQL版_云原生数据仓库AnalyticDB PostgreSQL版-阿里云帮助中心

产品文档:
ADB for PG 产品文档:快速掌握AnalyticDBPostgreSQL实例的创建,连接,开发和运维_云原生数据仓库AnalyticDB PostgreSQL版-阿里云帮助中心

常用操作
实例规格选型指导:如何选择云原生数据仓库AnalyticDBPostgreSQL版实例规格_云原生数据仓库AnalyticDB PostgreSQL版-阿里云帮助中心
表规划和设计指导:如何创建和约束数据库中的表_云原生数据仓库AnalyticDB PostgreSQL版-阿里云帮助中心
性能调优指导:不同操作场景下使用AnalyticDBPostgreSQL的性能优化指导_云原生数据仓库AnalyticDB PostgreSQL版-阿里云帮助中心
建表语法:VMware Greenplum Documentation
列存压缩(压缩比3到10倍):如何使用AnalyticDBforPostgreSQL列存和压缩功能_云原生数据仓库AnalyticDB PostgreSQL版-阿里云帮助中心
分区键选择:AnalyticDBPostgreSQL版如何选择表分布策略_云原生数据仓库AnalyticDB PostgreSQL版-阿里云帮助中心
表分区(支持数字和日期类型上的多级分区):
如何定义分区表_云原生数据仓库AnalyticDB PostgreSQL版-阿里云帮助中心
VMware Greenplum Documentation

数据写入方式总结:
数据可以采用 INSERT/COPY/OSS外表/Client SDK 写入实例:AnalyticDBPostgreSQL版支持哪些数据写入方式_云原生数据仓库AnalyticDB PostgreSQL版-阿里云帮助中心

数据导入与同步:
数据同步和迁移方法总结:数据迁移及同步方案综述_云原生数据仓库 AnalyticDB PostgreSQL版-阿里云帮助中心
数据传输 DTS 准实时同步 RDS MySQL 数据到 ADB for PG:如何将数据从RDSMySQL版同步至AnalyticDBPostgreSQL版_云原生数据仓库AnalyticDB PostgreSQL版-阿里云帮助中心
数据集成DataX 按小时/天同步数据到 ADB for PG:如何通过DataWorks完成表级数据迁移_云原生数据仓库AnalyticDB PostgreSQL版-阿里云帮助中心
ADB for PG OSS 外部表文档:如何使用OSS外表高速导入数据至AnalyticDBPostgreSQL_云原生数据仓库AnalyticDB PostgreSQL版-阿里云帮助中心

ETL作业调度:
通过Dataworks 进行ADB for PG作业调度:使用 Dataworks 实现 AnalyticDB PostgreSQL版上的 ETL 作业调度-阿里云开发者社区

PostGIS 进行地理信息分析
使用PostGIS进行时空分析及典型使用场景_云原生数据仓库AnalyticDB PostgreSQL版-阿里云帮助中心

社区文档:
ADB for PG 社区官方手册:VMware Greenplum Documentation
MADlib SQL机器学习库:Apache MADlib

最佳实践:
数据倾斜的监测和实践:https://github.com/digoal/blog/blob/master/201708/20170821_02.md
负载管理(资源队列管理):https://github.com/digoal/blog/blob/master/201708/20170821_01.md

社群:
AnalyticDB for PG 在线技术支持钉钉群,包括 在线技术专家支持,新特性发布,优惠活动发布。【强烈推荐!】文章来源地址https://www.toymoban.com/news/detail-788921.html

到了这里,关于AnalyticDB for PostgreSQL 实时数据仓库上手指南的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 快速上手PyCharm指南

    PyCharm是一种Python IDE(Integrated Development Environment,集成开发环境),带有一整套可以帮助用户在使用Python语言开发时提高其效率的工具,比如调试、语法高亮、项目管理、代码跳转、智能提示、自动完成、单元测试、版本控制。此外,该IDE提供了一些高级功能,以用于支持

    2024年02月13日
    浏览(58)
  • 【目标检测】YOLOv8:快速上手指南

    YOLOv8是YOLOv5团队在今年新推出的一代YOLO版本,与前几代版本相比,其性能和速度差距如下图所示: 和其它版本不同的是,该仓库并非起名为YOLOv8,而是公司名 ultralytics ,因为他们想将此版本作为一个通用库,以方便调用和部署。 仓库地址:https://github.com/ultralytics/ultralytic

    2024年02月07日
    浏览(49)
  • Vite与Vue 3快速上手指南

    Vite是一个由Evan You(Vue的创始人)开发的快速开发工具,用于构建现代化的Web应用程序。它具有快速的冷启动时间和实时模块热重载功能,使得开发者能够更快地开发和调试应用程序。 Vue 3是Vue.js的最新版本,它引入了许多新的特性和改进。其中最重要的是Composition API,它允

    2024年04月26日
    浏览(33)
  • 自动化神器Playwright快速上手指南

    Playwright是由微软公司2020年初发布的新一代自动化测试工具,相较于目前最常用的Selenium,它仅用一个API即可自动执行Chromium、Firefox、WebKit等主流浏览器自动化操作。作为针对 Python 语言纯自动化的工具,在回归测试中可更快的实现自动化。 1. 为什么选择Playwright 1.1 Playwright的

    2024年02月06日
    浏览(50)
  • 本地资源检测 自定义规则 零基础上手指南

    本地资源检测 是UWA推出的、面向于静态资源的全量分析。可以全面自动检测项目静态工程内各项资源、代码和设置,能够帮助项目组制定合理的资源与代码标准,及时发现潜在的性能问题和异常错误,建立有效的开发规范。 其中“自定义规则”功能特别获得了开发者的好感

    2024年02月13日
    浏览(46)
  • Linux下的编辑器——vim的简单上手指南

    前言: 本章主要内容有认识与学习 Linux 环境下常用的编辑器—— vim 的三种模式与常见指令,学会如何在 Linux 下完成 C 代码的编写等等 Vim 是从 vi 发展出来的一个文本编辑器。代码补完、编译及错误跳转等方便编程的功能特别丰富,在程序员中被广泛使用。和 Emacs 并列成为

    2024年02月13日
    浏览(70)
  • Android SDK 上手指南||第十一章 虚拟与物理设备

    在之前的文章里,大家已经了解了Android项目当中的基本元素、接触了用户界面的设计以及数据存储方案。接下来,我们将一同探索如何在物理及虚拟设备上运行自己的应用程序并与之互动。在系列文章的下一篇中,我们将分步讲解如何让应用程序运行在物理设备及模拟器当中

    2024年02月09日
    浏览(39)
  • 深入浅出Docker:Java开发者的快速上手指南

    在今天的软件开发环境中,Docker已经成为了一种常见的开发和部署工具。无论你是前端开发者、后端开发者,还是DevOps工程师,理解并掌握Docker都将成为你所必须的技能。对于Java开发者来说,使用Docker可以极大地提高你的生产力。那么,如何使用Docker来部署Java应用呢?本文

    2024年02月07日
    浏览(59)
  • Nginx Ingress轻松上手 | Kubernetes服务管理指南

    Nginx Ingress是你Kubernetes集群中的得力助手,无需额外安装,已内置于K8s。作为基于Nginx的扩展,它担任负载均衡器和入口控制器的重要角色。 2.1 服务曝露的便利 通过简单配置,Nginx Ingress将外部流量巧妙引导至各服务,无需直接暴露端口。 2.2 负载均衡的智慧 它智能分发流量

    2024年01月17日
    浏览(32)
  • IntelliJ IDEA 快速上手与高效开发指南

    启动 IntelliJ IDEA 打开 IntelliJ IDEA,您将看到欢迎界面。这里您可以选择创建新项目、打开现有项目、从版本控制系统中导入项目等。 创建新项目 在欢迎界面选择 \\\"Create New Project\\\"。 选择项目类型(如 Maven、Gradle 等)。 选择 SDK(如 JDK)。 指定项目名称和位置。 根据需要配置

    2024年04月12日
    浏览(48)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包