HBase学习八: 核心参数配置

这篇具有很好参考价值的文章主要介绍了HBase学习八: 核心参数配置。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

参数配置是一个富有技巧性的工作,每个参数的背后都隐藏着对应模块的工作原理,如果不清楚这些工作原理,就没办法真正理解这些参数的核心意义。

1、Region相关参数

hbase.hregion.max.f ilesize:默认为10G,简单理解为,Region中最大的Store中所有文件大小一旦大于该值整个Region就会执行分裂。

解读:实际生产环境中,建议对该值设置不要太大也不要太小。太大会导致系统后台执行compaction消耗大量系统资源,一定程度上影响业务响应;太小会导致Region分裂比较频繁(分裂本身对业务读写会有一定影响)。太多Region会消耗大量系统资源,并且在RegionServer故障恢复时比较耗时。

2、BlockCache相关参数

BlockCache相关的参数非常多,而且比较容易混淆。不同的BlockCache策略对应不同的参数,并且这些参数配置会影响MemStore相关参数的配置。查询相关书籍,推荐:RegionServer内存在20G以内的就选择LRUBlockCache,大于20G的就选择BucketCache中的offheap模式。

接下来所有的相关配置都基于BucketCache的offheap模型进行说明。

  • hf ile.block.cache.size :默认为0.4,该值用来设置LRUBlockCache的内存大小,0.4表示JVM内存的40%。

    解读:当前HBase系统默认采用LRUBlockCache策略,BlockCache大小和MemStore大小均为JVM的40%。对于BucketCache策略来讲,Cache分为了两层,文章来源地址https://www.toymoban.com/news/detail-805679.html

到了这里,关于HBase学习八: 核心参数配置的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 【系统架构设计】架构核心知识: 1 构件和中间件

    目录 一 构件 1 构件的特性 2 构件、对象和模块的对比  3 构件的复用

    2024年02月07日
    浏览(36)
  • 【Java程序员面试专栏 分布式中间件】Redis 核心面试指引

    关于Redis部分的核心知识进行一网打尽,包括Redis的基本概念,基本架构,工作流程,存储机制等,通过一篇文章串联面试重点,并且帮助加强日常基础知识的理解,全局思维导图如下所示 明确redis的特性、应用场景和数据结构 Redis是一个 开源的、内存中的数据结构存储系统

    2024年02月20日
    浏览(46)
  • 【送书福利-第七期】《分布式中间件核心原理与RocketMQ最佳实践》

    大家好,我是洲洲,欢迎关注,一个爱听周杰伦的程序员。关注公众号【程序员洲洲】即可获得10G学习资料、面试笔记、大厂独家学习体系路线等…还可以加入技术交流群欢迎大家在CSDN后台私信我! 分布式中间件核心原理与RocketMQ实战技术一本通:实战案例+操作步骤+执行效

    2024年02月08日
    浏览(98)
  • Golang中Gin 参数绑定和验证的中间件

    1. 学习在Golang中使用Gin参数绑定和验证的中间件,了解不同参数类型的绑定和验证方式。 Gin框架提供了很多常用的中间件,其中就包括参数绑定和验证的中间件。在使用Gin框架中进行数据绑定和验证时,可以使用Gin内置的Binding、Validating和Uri中间件。 1. Binding Binding中间件用于

    2024年02月08日
    浏览(49)
  • 【前端知识】React 基础巩固(三十八)——log、thunk、applyMiddleware中间件的核心代码

    利用Monkey Patching,修改原有的程序逻辑,在调用dispatch的过程中,通过dispatchAndLog实现日志打印功能 redux中利用中间件 redux-thunk 可以让dispatch不不仅能处理对象,还能处理函数 单个调用函数来应用中间件,非常不方便,封装一个函数来合并中间件 在store/index.js中应用上面三个

    2024年02月14日
    浏览(53)
  • 【云计算学习教程】什么是中间件?常见中间件有哪些?

    3)最后 Apache 把这个临时的静态网页文件发给用户。 采用 Perl、Python 和 Ruby 脚本语言编写的动态网页,其工作过程与 PHP 类似。 Apache 是最流行的开源网站服务器,在世界排名前 100 万的网站中,有 60.6% 的网站采用 Apache;在排名前 1000 的大型网站中,Apache 占到了 34.5%,而 N

    2024年04月22日
    浏览(42)
  • 中间件环境搭建配置过程解读

    安装xampp服务集成环境工具 官网地址 下载项目压缩包,将项目文件夹放在xampp安装目录的htdocs文件夹下 初始化xampp:运行目录内的setup_xampp.bat 运行 xampp-control.exe 可以启动或停止apache、mysql等各个模块并可将其注册为服务。 配置xampp(Apache、MySQL) 配置参考地址 Apache 项—con

    2024年02月10日
    浏览(44)
  • hyperf 学习 三、中间件

    文档地址:Hyperf 中间件的原理就是请求时拦截并进行处理,再传到对应的回调,处理返回数据。 流程:request- middleware-response。 中间件在路由定义时配置。所以根据上一篇文章hyperf 学习 二、路由_lsswear的博客-CSDN博客 中注释路由 Controller、AutoController可以配置 options。 后来查

    2024年02月12日
    浏览(46)
  • NestJS 的 中间件 学习

    中间件是在路由处理程序之前调用的函数。中间件函数可以访问 请求 和 响应 对象。在程序中我们可以让多个中间件串起来一起使用,当多个中间件一起使用时我们可以使用 next() 调用下一个中间件。 中间件主要是可以实现如下功能: 执行任何代码 更改请求和响应对象 结束

    2024年02月15日
    浏览(38)
  • Python学习(3)- 消息中间件rabbitmq

    消息队列中间件是分布式系统中重要的组件,主要解决 应用解耦 , 异步消息 , 流量削锋 等问题,实现高性能,高可用,可伸缩和最终一致性架构 rabbitmq 简单模式 生产者: 链接rabbitmq 创建队列 向指定的队列中插入数据 交换机模式 发布订阅模式 模式 模糊匹配模式

    2024年02月22日
    浏览(51)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包