kylin3集群问题和思考(单机转集群)

这篇具有很好参考价值的文章主要介绍了kylin3集群问题和思考(单机转集群)。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

        

     

目录

单机改集群注意事项

问题

思考

建议


单机改集群注意事项

        之前是使用的单机版,但后面查询压力过大,一个方案是改成集群。

        由于是同一个集群的,元数据没有变化,所以,直接将原本的kylin使用scp的方式发送到其他节点即可。hive客户端也是,也要保证有hbase、zookeeper等。

        需要修改的配置如下(截图官网):

        kylin3集群问题和思考(单机转集群),kylin,kylin,大数据,big data

        下面说一下需要注意的地方。

  •         -name '*jackson*',需要加在find-hive-dependency.sh和find-spark-dependency.sh里面,不然就会导致kylin启动出问题。
  •         还有一点,我看了很多其他博客,都没写一点,每台的kylin.env.zookeeper-base-path=这个配置必须修改为不同的路径。不然会出现读取加锁错误。(这里有些不同,我测了几个版本。部分需要改路径,部分不用改。如果出现报错再改吧)

我在第一台设置的kylin.server.mode=job,第二台配置的kylin.server.mode=all,第三台配置了第二台配置的kylin.server.mode=query

所以我在第一台查询就出现了:

kylin3集群问题和思考(单机转集群),kylin,kylin,大数据,big data

而构建cube在每一台都可以。

问题

        由于第三台设置的query,所以构建cube时,不会出现Built By XXX@第三台ip。只可能在第一、第二台进行built。

        我试过很多次,构建分别在第一台第二台都测试过,我发现如下

  • 设置kylin.server.mode=job 在上面进行built的几率比kylin.server.mode=all大。

思考

  1. 这是配置原因吗?让job>all
  2. 不是配置原因,是根据负载均衡原因,但我没配置这些啊,而且两台资源相当。
  3. kylin有个自己的选择算法,选择合适的机器上面进行cube构建。

建议

        不要设置job,只设置query,all。多数query,少数all。毕竟使用kylin,更多是用的查询,构建放少数机器上即可。而且yarn也不可能给你分配很多队列,让你一个节点构建cube进入一个队列。

请看下篇,kylin集群使用nginx代理:

kylin集群使用nginx反向代理-CSDN博客文章浏览阅读2次。由于是同一个集群的,元数据没有变化,所以,直接将原本的kylin使用scp的方式发送到其他节点即可。说明一下,192.168.200.12是我nginx的安装的节点,192.168.200.11、192.168.200.12、192.168.200.13是我3台kylin安装的节点,7070是kylin端口。对于多个节点的查询,我需要进行一下优化,所以我最终选用了nginx,对3台kylin进行了反向代理。分别运行这段代码3次,发现两次成功,成功访问到了kylin的数据,一次失败。https://blog.csdn.net/qq_40209679/article/details/135526638?csdn_share_tail=%7B%22type%22%3A%22blog%22%2C%22rType%22%3A%22article%22%2C%22rId%22%3A%22135526638%22%2C%22source%22%3A%22qq_40209679%22%7D

后面将持续更新和修改kylin集群部分,遇到问题欢迎留言,谢谢。

       文章来源地址https://www.toymoban.com/news/detail-816149.html

到了这里,关于kylin3集群问题和思考(单机转集群)的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 大数据:HDFS操作的客户端big data tools和NFS

    2022找工作是学历、能力和运气的超强结合体,遇到寒冬,大厂不招人,可能很多算法学生都得去找开发,测开 测开的话,你就得学数据库,sql,oracle,尤其sql要学,当然,像很多金融企业、安全机构啥的,他们必须要用oracle数据库 这oracle比sql安全,强大多了,所以你需要学

    2024年02月09日
    浏览(56)
  • 华为大数据HCIP认证(HCIP-Big Data Developer V2.0) 考试大纲

    华为认证 HCIP-Big Data Developer V2.0 考试   考试内容 HCIP-Big Data Developer V2.0 大数据场景化解决方案总览、大数据场景化解决方案:离线批 处理、实时检索、实时流处理等内容。   第 1 章 大数据场景化解决方案 1. 大数据主流技术 2. 大数据场景化解决方案 3. 大数据应用开发 第

    2024年02月05日
    浏览(50)
  • 未来场景下的大数据空间分析综述Big data spatial analysis in the future

    作者:禅与计算机程序设计艺术 随着互联网技术的飞速发展,以及各行各业对大数据的需求,基于地理位置信息的大数据越来越受到重视。大数据空间分析领域也逐渐成熟起来。 随着人们生活水平的不断提升,城市规划、城镇建设、交通运输、信息化、电子商务、旅游产业

    2024年02月08日
    浏览(57)
  • 【大数据】数据分析和挖掘技术和应用 A Brief Review of Big Data Technologies and Application

    作者:禅与计算机程序设计艺术 在现代信息社会里,数据的爆炸性增长已经给传统行业带来巨大的商机,并促进了人工智能、机器学习、云计算等新兴技术的出现。作为数据驱动的经济领域,数据分析和挖掘技术成为绩效提升和产品优化的关键环节,也是各个公司争相追逐的

    2024年02月07日
    浏览(54)
  • “大数据处理”的现状 Scaling up and out: Towards an efficient processing of big Data

    作者:禅与计算机程序设计艺术 Hadoop 是 Apache 基金会于 2007 年推出的开源分布式计算框架。它是一个通用计算平台,可用于存储、处理和分析大量的数据集。它是一个分布式文件系统(HDFS),一个资源管理器(YARN),和一些常用的组件如 MapReduce、Hive 和 Pig。在数据量达到海

    2024年02月08日
    浏览(48)
  • 麒麟 Kylin V10 一键安装 Oracle 11GR2 单机 ASM(231017)

    Oracle 一键安装脚本,演示麒麟 Kylin V10 一键安装 Oracle 11GR2 单机 ASM(231017)过程(全程无需人工干预):(脚本包括 ORALCE PSU/OJVM 等补丁自动安装 ) ⭐️ 脚本下载地址 :Shell脚本安装Oracle数据库 脚本第三代支持 N 节点一键安装,不限制节点数! 1、安装好操作系统,建议安

    2024年04月26日
    浏览(33)
  • INT303 Big Data 个人笔记

    又来到了经典半个月写一个学期内容的环节 目前更新至Lec{14}/Lec14 依旧是不涉及代码,代码请看学校的jupyter notebook~ 介绍课程 Topic Range Topic 1: Introduction to Big Data Analytics Lec1~Lec3 Topic2: Big data collection and visualization Lec4~Lec5 Topic3: Systems and software Lec6 Topic 4: Data processing methods and a

    2024年02月03日
    浏览(69)
  • Learning Spark: LightningFast Big Data Analysis

    作者:禅与计算机程序设计艺术 Spark是一种开源快速通用大数据分析框架。它能够在超高速的数据处理能力下,轻松完成海量数据处理任务。相比于其他大数据处理系统(如Hadoop)来说,Spark具有如下优点: 更快的速度:Spark可以更快地处理超高速的数据,特别是在内存计算时,

    2024年02月08日
    浏览(57)
  • Databases and Big Data Technologies: Essential Knowledg

    作者:禅与计算机程序设计艺术 互联网正在改变着传统行业和新兴行业的结构,电子商务、社交网络、移动应用程序等新兴产业的迅速发展也催生了基于数据中心的数据库应用的需求,而这方面的知识技能是越来越重要。然而,除了数据库技术的基础知识和技术栈外,基于数

    2024年02月07日
    浏览(49)
  • Big Data Tools插件(详细讲解安装,连接,包教包会!!!)

    🐮博主syst1m 带你 acquire knowledge! ✨博客首页——syst1m的博客💘 😘《CTF专栏》超级详细的解析,宝宝级教学让你从蹒跚学步到健步如飞🙈 😎《大数据专栏》大数据从0到秃头👽,从分析到决策,无所不能❕ 🔥 《python面向对象(人狗大战)》突破百万的阅读量,上过各种各样

    2024年02月03日
    浏览(43)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包