Greenplum管理和监控工具-gpcc-web介绍

这篇具有很好参考价值的文章主要介绍了Greenplum管理和监控工具-gpcc-web介绍。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

Greenplum管理和监控工具-gpcc-web介绍

1. gpcc-web简介

​ gpcc(Greenplum Command Center)的Web用户界面是一个强大的工具,它可以帮助用户管理Greenplum数据库集群,提高效率,优化性能,并确保数据的安全性和可靠性。它为数据库管理员提供了一个集中化的平台,从而更容易管理和监控复杂的数据仓库环境。

gpcc-web主要特点和功能

  1. 集群监控和状态gpcc-web提供了有关整个Greenplum数据库集群状态的实时信息。您可以查看主机、段、表空间等级别的性能数据、状态和报警信息。这有助于及时识别和解决性能问题。

  2. 查询性能监控:您可以监视正在运行的查询的性能,包括查询执行计划、资源消耗和查询运行时间。这有助于识别潜在的性能瓶颈和优化查询。

  3. 备份和恢复管理gpcc-web允许您配置和监视数据库备份策略,并提供了还原数据库的功能。这有助于确保数据的备份和可恢复性。

  4. 自动化任务和计划:您可以使用gpcc-web来管理和计划自动化任务,如数据加载、清理、备份等。这有助于提高数据库管理的效率。

  5. 安全性管理:GPCC提供了用户和角色管理功能,以及访问控制策略的配置。这有助于确保数据库的安全性和合规性。

  6. 性能优化:通过分析数据库性能数据,gpcc-web可以建议性能优化措施,帮助您改进查询性能和资源利用率。

  7. 报告和可视化:GPCC生成各种报告和图形,用于可视化数据库性能、资源利用和趋势。这些报告有助于更好地理解数据库的健康状况。

  8. 插件和扩展性:GPCC的gpcc-web界面可以通过插件进行扩展,以满足特定需求和集成其他工具。

  9. 易于使用的界面gpcc-web具有直观的用户界面,使数据库管理员和运维人员能够轻松地执行各种管理和监控任务。

2. gpcc-web安装部署

2-1. 环境检查

# 当前集群信息gpmaster + gpstandby + segment01-04
[gpadmin@hdt-dmcp-gpmaster ~]$ cat /etc/hosts
::1	localhost	localhost.localdomain	localhost6	localhost6.localdomain6
# greenplum
172.20.6.107 hdt-dmcp-gpmaster
172.20.9.175 hdt-dmcp-gpstandby
172.20.5.87 hdt-dmcp-segment01
172.20.14.139 hdt-dmcp-segment02
172.20.11.45 hdt-dmcp-segment03
172.20.13.242 hdt-dmcp-segment04

# 当前GP版本 Greenplum Database 6.19.0
[gpadmin@hdt-dmcp-gpmaster ~]$ psql
psql (9.4.26)
Type "help" for help.

testdb=# select version();
 PostgreSQL 9.4.26 (Greenplum Database 6.19.0 build commit:c88801925e5d51e4be57f54ff2158ed74a264b8e Open Source) on x86_64-unknown-linux-gnu, compiled by gcc (GCC) 6.4.0, 64-bit compiled on Dec  8 2021 23:08:44
(1 row)

testdb=# \q

# 当前服务器系统版本CentOS-7
[gpadmin@hdt-dmcp-gpmaster ~]$ cat /etc/redhat-release 
CentOS Linux release 7.4.1708 (Core) 

2-2. 下载地址

官方地址:

https://network.pivotal.io/products/gpdb-command-center#/releases/1243596

Greenplum管理和监控工具-gpcc-web介绍,greenplum,运维,大数据,Greenplum,数据库,大数据,gpcc,监控

如果版本需要CentOS-7,对应6.8.4版本,可以使用百度网盘分享

链接:https://pan.baidu.com/s/1eQ5JMXnjUyHXj8xtB4Vueg?pwd=dw0t 
提取码:dw0t 

2-3. 安装部署

注意: 在master库上安装即可,客户端会自动安装到其它segment

  • 安装准备
# 下载至本地服务器目录
[gpadmin@hdt-dmcp-gpmaster ~]$ ll | grep greenplum-cc-web
-rw-r--r-- 1 gpadmin gpadmin 102488779 Oct 31 14:52 greenplum-cc-web-6.8.4-gp6-rhel7-x86_64.zip

# unzip解压安装包
[gpadmin@hdt-dmcp-gpmaster ~]$ unzip greenplum-cc-web-6.8.4-gp6-rhel7-x86_64.zip 
Archive:  greenplum-cc-web-6.8.4-gp6-rhel7-x86_64.zip
   creating: greenplum-cc-web-6.8.4-gp6-rhel7-x86_64/
  inflating: greenplum-cc-web-6.8.4-gp6-rhel7-x86_64/gpccinstall-6.8.4  

# 解压后为一个二进制执行文件
[gpadmin@hdt-dmcp-gpmaster ~]$ cd greenplum-cc-web-6.8.4-gp6-rhel7-x86_64
[gpadmin@hdt-dmcp-gpmaster greenplum-cc-web-6.8.4-gp6-rhel7-x86_64]$ ll
total 169864
-rwxr-xr-x 1 gpadmin gpadmin 173939328 Jan 18  2023 gpccinstall-6.8.4

# 引用原greenplum-db的环境变量文件
[gpadmin@hdt-dmcp-gpmaster ~]$ source /usr/local/greenplum-db/greenplum_path.sh

# 创建gpcc安装目录路径,此目录可自定义
[gpadmin@hdt-dmcp-gpmaster ~]$ mkdir -p /home/gpadmin/software
  • 安装gpcc
# 运行安装文件
[gpadmin@hdt-dmcp-gpmaster greenplum-cc-web-6.8.4-gp6-rhel7-x86_64]$ ./gpccinstall-6.8.4 
Where would you like to install Greenplum Command Center? (Default=/usr/local)
/home/gpadmin/software      # 输入指定的安装路径,直接回车则选择Default默认目录
Greenplum Command Center will be installed in /home/gpadmin/software/greenplum-cc-6.8.4

What would you like to name this installation of Greenplum Command Center? (Default=gpcc)

				# 输入指定的gpcc-web页面的项目名称,可以使用自己的项目简称,直接回车则选择Default默认名称gpcc
What port would you like the gpcc webserver to use? (Default=28080)
				# 输入指定的gpcc-web页面端口,直接回车则选择Default默认28080

Would you like to enable SSL/TLS? Yy/Nn (Default=Y)
N				# 是否开启SSL,选择N 暂不使用

********************************************************************************
* WARNING: Your connections to GPCC will be insecure.                          *
********************************************************************************

Please choose a display language (Default=English)
1.  English
2.  Chinese
3.  Korean
4.  Russian
5.  Japanese
2			# 2 对应中文显示

Could not detect [metrics_collector] in shared_preload_libraries
Please add it to enable GPCC metrics collection

Would you like to continue with gpcc installation? Yy/Nn (Default=N)
y				# 是否进行本次的安装,Y 继续进行安装任务,N 则直接退出安装

INSTALLATION IN PROGRESS...
********************************************************************************
* Please check your .pgpass file for the default password.                     *
* We recommend changing the default password for the gpmon user unless you     *
* plan to connect through LDAP or kerberos.                                    *
********************************************************************************
CREATING SUPERUSER 'gpmon'...
/home/gpadmin/.bashrc: line 12: /home/gpadmin/software/greenplum-cc-6.8.4/gpcc_path.sh: No such file or directory
/home/gpadmin/.bashrc: line 12: /home/gpadmin/software/greenplum-cc-6.8.4/gpcc_path.sh: No such file or directory
CREATING COMMAND CENTER DATABASE 'gpperfmon'...

********************************************************************************
*                                                                              *
* INSTALLATION IS ALMOST COMPLETED                                             *
*                                                                              *
* The last step is to update the metrics_collector extension, which needs to   *
* restart the Greenplum Database cluster. Please proceed to $GPCC_HOME and     *
* follow the instructions in this file:                                        *
*                                                                              *
*                            update-extension.txt                              *
*                                                                              *
* Some new features may not be available before the update is done.            *
*                                                                              *
* To use GPCC with the old metrics_collector extension, source gpcc_path.sh    *
* and run 'gpcc start'.                                                        *
*                                                                              *
********************************************************************************
  • 引用gpcc的环境变量
[gpadmin@hdt-dmcp-gpmaster greenplum-cc-web-6.8.4-gp6-rhel7-x86_64]$ ll /home/gpadmin/software/greenplum-cc-6.8.4/gpcc_path.sh
-rw-rw-r-- 1 gpadmin gpadmin 107 Oct 31 14:58 /home/gpadmin/software/greenplum-cc-6.8.4/gpcc_path.sh

# 将gpcc环境变量加入到用户本地的.bashrc
[gpadmin@hdt-dmcp-gpmaster greenplum-cc-web-6.8.4-gp6-rhel7-x86_64]$ echo "source /home/gpadmin/software/greenplum-cc-6.8.4/gpcc_path.sh" >> ~/.bashrc

# source引用
[gpadmin@hdt-dmcp-gpmaster greenplum-cc-web-6.8.4-gp6-rhel7-x86_64]$ source  ~/.bashrc
  • gppkg安装

gppkg 可以用于安装和管理 Greenplum 数据库的扩展组件或插件。这些组件可以增强数据库的功能,如添加额外的数据类型、函数、外部语言支持等。通过 gppkg,您可以轻松地将这些扩展组件安装到 Greenplum 集群中,以满足特定的需求

[gpadmin@hdt-dmcp-gpmaster ~]$ cd ~/software/greenplum-cc/gppkg/

# 注意-i 参数后面的文件是根据用户的gpcc版本、gp数据版本、操作系统版本来选择,目录下需要自行选择
[gpadmin@hdt-dmcp-gpmaster gppkg]$ gppkg -i MetricsCollector-6.8.4_gp_6.19.0-rhel7-x86_64.gppkg
20231031:15:37:58:010989 gppkg:hdt-dmcp-gpmaster:gpadmin-[INFO]:-Starting gppkg with args: -i MetricsCollector-6.8.4_gp_6.19.0-rhel7-x86_64.gppkg
20231031:15:37:58:010989 gppkg:hdt-dmcp-gpmaster:gpadmin-[INFO]:-Installing package MetricsCollector-6.8.4_gp_6.19.0-rhel7-x86_64.gppkg
20231031:15:37:58:010989 gppkg:hdt-dmcp-gpmaster:gpadmin-[INFO]:-Validating rpm installation cmdStr='rpm --test -i /usr/local/greenplum-db-6.19.0/.tmp/MetricsCollector-6.8.4-6.19.0.x86_64.rpm --dbpath /usr/local/greenplum-db-6.19.0/share/packages/database --prefix /usr/local/greenplum-db-6.19.0'
20231031:15:38:01:010989 gppkg:hdt-dmcp-gpmaster:gpadmin-[INFO]:-Installing MetricsCollector-6.8.4_gp_6.19.0-rhel7-x86_64.gppkg locally
20231031:15:38:01:010989 gppkg:hdt-dmcp-gpmaster:gpadmin-[INFO]:-Validating rpm installation cmdStr='rpm --test -i /usr/local/greenplum-db-6.19.0/.tmp/MetricsCollector-6.8.4-6.19.0.x86_64.rpm --dbpath /usr/local/greenplum-db-6.19.0/share/packages/database --prefix /usr/local/greenplum-db-6.19.0'
20231031:15:38:01:010989 gppkg:hdt-dmcp-gpmaster:gpadmin-[INFO]:-Installing rpms cmdStr='rpm -i --force /usr/local/greenplum-db-6.19.0/.tmp/MetricsCollector-6.8.4-6.19.0.x86_64.rpm --dbpath /usr/local/greenplum-db-6.19.0/share/packages/database --prefix=/usr/local/greenplum-db-6.19.0'
20231031:15:38:01:010989 gppkg:hdt-dmcp-gpmaster:gpadmin-[INFO]:-Completed local installation of MetricsCollector-6.8.4_gp_6.19.0-rhel7-x86_64.gppkg.
20231031:15:38:01:010989 gppkg:hdt-dmcp-gpmaster:gpadmin-[INFO]:--
==========================================================================
Metrics Collector installation is complete!
==========================================================================
20231031:15:38:01:010989 gppkg:hdt-dmcp-gpmaster:gpadmin-[INFO]:-MetricsCollector-6.8.4_gp_6.19.0-rhel7-x86_64.gppkg successfully installed.
  • 修改数据库配置
[gpadmin@hdt-dmcp-gpmaster ~]$ gpconfig -c shared_preload_libraries -v metrics_collector
[gpadmin@hdt-dmcp-gpmaster ~]$ gpconfig -c gp_enable_query_metrics -v on
[gpadmin@hdt-dmcp-gpmaster ~]$ gpconfig -c track_activities  -v on
[gpadmin@hdt-dmcp-gpmaster ~]$ gpconfig -s shared_preload_libraries
[gpadmin@hdt-dmcp-gpmaster ~]$ gpconfig -s gp_enable_query_metrics
[gpadmin@hdt-dmcp-gpmaster ~]$ gpconfig -s track_activities

[gpadmin@hdt-dmcp-gpmaster ~]$ gpstop -u
20231031:16:37:01:017514 gpstop:hdt-dmcp-gpmaster:gpadmin-[INFO]:-Starting gpstop with args: -u
20231031:16:37:01:017514 gpstop:hdt-dmcp-gpmaster:gpadmin-[INFO]:-Gathering information and validating the environment...
20231031:16:37:01:017514 gpstop:hdt-dmcp-gpmaster:gpadmin-[INFO]:-Obtaining Greenplum Master catalog information
20231031:16:37:01:017514 gpstop:hdt-dmcp-gpmaster:gpadmin-[INFO]:-Obtaining Segment details from master...
20231031:16:37:01:017514 gpstop:hdt-dmcp-gpmaster:gpadmin-[INFO]:-Greenplum Version: 'postgres (Greenplum Database) 6.19.0 build commit:c88801925e5d51e4be57f54ff2158ed74a264b8e Open Source'
20231031:16:37:01:017514 gpstop:hdt-dmcp-gpmaster:gpadmin-[INFO]:-Signalling all postmaster processes to reload

# 建议条件允许快速模式重启集群
[gpadmin@hdt-dmcp-gpmaster ~]$ gpstop -M fast
[gpadmin@hdt-dmcp-gpmaster ~]$ gpstart -a

# 启动gpcc
[gpadmin@hdt-dmcp-gpmaster tmp]$ gpcc start
2023-10-31 18:01:19 Starting the gpcc agents and webserver...
2023-10-31 18:01:22 Agent successfully started on 6/6 hosts
2023-10-31 18:01:22 View Greenplum Command Center at http://hdt-dmcp-gpmaster:28080
[gpadmin@hdt-dmcp-gpmaster tmp]$ 
[gpadmin@hdt-dmcp-gpmaster tmp]$ gpcc status
2023-10-31 18:03:47 GPCC webserver: running
2023-10-31 18:03:48 GPCC agents: 6/6 agents running

# 查看账号密码
[gpadmin@hdt-dmcp-gpmaster ~]$ cat ~/.pgpass
*:5432:gpperfmon:gpmon:KiMvboFf

# 其中 ”gpmon“为账号  “KiMvboFf”为密码

3. gpcc-web界面使用介绍

3-1. 登录界面

根据安装完毕后的~/.pgpass文件信息进行登录使用

Greenplum管理和监控工具-gpcc-web介绍,greenplum,运维,大数据,Greenplum,数据库,大数据,gpcc,监控

3-2. 仪表盘界面

Greenplum管理和监控工具-gpcc-web介绍,greenplum,运维,大数据,Greenplum,数据库,大数据,gpcc,监控

3-3. 查询相关信息

Greenplum管理和监控工具-gpcc-web介绍,greenplum,运维,大数据,Greenplum,数据库,大数据,gpcc,监控

3-4. 服务器维度信息指标

Greenplum管理和监控工具-gpcc-web介绍,greenplum,运维,大数据,Greenplum,数据库,大数据,gpcc,监控

3-5. GP集群总资源池状态监控

Greenplum管理和监控工具-gpcc-web介绍,greenplum,运维,大数据,Greenplum,数据库,大数据,gpcc,监控

3-6. 表基本状态查看

Greenplum管理和监控工具-gpcc-web介绍,greenplum,运维,大数据,Greenplum,数据库,大数据,gpcc,监控

3-7. 存储状态监控

Greenplum管理和监控工具-gpcc-web介绍,greenplum,运维,大数据,Greenplum,数据库,大数据,gpcc,监控

3-8. 监控告警配置

Greenplum管理和监控工具-gpcc-web介绍,greenplum,运维,大数据,Greenplum,数据库,大数据,gpcc,监控文章来源地址https://www.toymoban.com/news/detail-738610.html

到了这里,关于Greenplum管理和监控工具-gpcc-web介绍的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 【项目实战】基于Web的管理和监控Hadoop集群工具——Ambari入门介绍

    Apache Ambari是一种基于Web的工具,它提供了一个易于使用的Web界面 ,是一个强大的开源的集群管理工具,它可以帮助管理员轻松管理和监控Hadoop集群,支持Apache Hadoop集群的供应、管理和监控。 Ambari已支持大多数Hadoop组件,包括HDFS、Hadoop MapReduce、Hive、Pig、 Hbase、Zookeeper、Sq

    2024年02月06日
    浏览(38)
  • greenplum行转列

    项目中需要将150w的数据转为1500列的大宽表数据。 最开始尝试了网上提供的两种方法: 实际业务中10行*1500列数据查询并插入需要25秒左右(测试服务器性能比较差) case when的问题是每个case when的语句都会把分组后的数据判断一下,时间复杂度为O²(O为行转列后的列数),非

    2024年02月03日
    浏览(40)
  • GreenPlum版本升级

    📢📢📢📣📣📣 哈喽!大家好,我是【IT邦德】,江湖人称jeames007,10余年DBA及大数据工作经验 一位上进心十足的【大数据领域博主】!😜😜😜 中国DBA联盟(ACDU)成员,目前服务于工业互联网 擅长主流Oracle、MySQL、PG、高斯及Greenplum运维开发,备份恢复,安装迁移,性能优

    2024年02月08日
    浏览(37)
  • Greenplum-最佳实践小结

    注:本文翻译自https://docs.vmware.com/en/VMware-Greenplum/7/greenplum-database/best_practices-logfiles.html Greenplum数据库是一个分析型MPP无共享数据库。该模型与高度规范化/事务性的SMP数据库明显不同。 Greenplum数据库使用适合MPP分析处理的非规范化模式设计(例如Star或Snowflake模式)表现最佳,使

    2024年02月10日
    浏览(40)
  • Greenplum 对比 Hadoop

    Greenplum属于MPP架构,和Hadoop一样都是为了解决大规模数据的并行计算而出现的技术,两者的相似点在于: 分布式存储,数据分布在多个节点服务器上 分布式并行计算框架 支持横向扩展来提高整体的计算能力和存储容量 都支持X86开放集群架构 但两种技术在数据存储和计算方

    2024年02月07日
    浏览(63)
  • Greenplum实用技巧

    gp_segment_id是表中的隐藏列,用来标记该行属于哪个segment节点。因此可以基于该隐藏列进行分组查询,获取每个segment的记录数,从而判断表数据的分布是否均匀或有倾斜。 gp_segment_configuration是一张系统表,它维护包括master、standby在内的所有节点信息。是DBA了解集群最直观的

    2024年02月11日
    浏览(58)
  • GreenPlum集群部署之抽丝剥茧

    📢📢📢📣📣📣 哈喽!大家好,我是【IT邦德】,江湖人称jeames007,10余年DBA及大数据工作经验 一位上进心十足的【大数据领域博主】!😜😜😜 中国DBA联盟(ACDU)成员,目前服务于工业互联网 擅长主流Oracle、MySQL、PG、高斯及Greenplum运维开发,备份恢复,安装迁移,性能优

    2024年02月08日
    浏览(36)
  • GreenPlum分布式集群部署实战

    📢📢📢📣📣📣 哈喽!大家好,我是【IT邦德】,江湖人称jeames007,10余年DBA及大数据工作经验 一位上进心十足的【大数据领域博主】!😜😜😜 中国DBA联盟(ACDU)成员,目前服务于工业互联网 擅长主流Oracle、MySQL、PG、高斯及Greenplum运维开发,备份恢复,安装迁移,性能优

    2024年02月08日
    浏览(44)
  • Greenplum高可用-从失效segment恢复

    本主题将指导您在一个或多个段或主机出现故障并希望恢复故障段时应采取的措施。你所遵循的恢复路径主要取决于以下三种情况中哪一种适合你的情况: 希望就地恢复到当前主机 希望恢复到集群内的其他主机 希望恢复到集群外的新主机 在这些场景中遵循的步骤可能有所不

    2024年02月09日
    浏览(31)
  • GreenPlum的gpfdist使用与原理流程分析

    GreenPlum 的数据导入功能作为对数据源的一种扩充,数据导入的方式有: 1、insert 该方式通过 sql 语句,把数据一条一条插入至表中。这种方式,不仅读取数据慢(一条一条读取),且数据需要经过 master 节点后再分发给所有 segment,所以 master 制约着导入性能。 2、copy 该方式实

    2024年02月10日
    浏览(22)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包