一、为什么要设置超时参数
hbase设计的目标是成为一个高可用集群,能够在失败的时候快速响应,当出现网络抖动等偶发情况时,能快速重试,让用户可以快速拿到结果。而不是一直卡着,使得上层应用阻塞等待。
这个功能可以通过设置下面的3个超时参数、超时重试次数来实现。在超时的时候,立即主动断开,并重试。可以在当前集群上重试,也可以切换集群重试。
文章来源地址https://www.toymoban.com/news/detail-510659.html
二、3个超时参数及其机制
hbase.rpc.timeout
hbase client和server之间通过 rpc 通信,此参数设置了rpc超时时间。超时后将主动断开 rpc 请求。
文章来源:https://www.toymoban.com/news/detail-510659.html
hbase.client.opeation.timeout
hbase client从发出数据操作请求到server端处理完成并返回,总时间不能超过此参数。一个数据请求可能会调用多次rpc请求。比如 client 端发起了一个 put 请求,server 端正好在Full gc ,导致 rpc 响应超时。那么 client 会进行重试,重试多次后,累计的时间超过了 client.opeation.timeout 后,将抛出 sockettimeout 异常。
hbase.client.scanner.timeout.period
hbase 为 scanner 专门设置的超时参数。
一次 scan 操作如果一次性返回大量数据,对于 client 和 server 还有网络都有很大的压力。client 端一次性接受大量数据放在内存中,容易oom; server 端从磁盘读出数据需要大量的io,而我们知道io 相比于cpu、内存,往往更容易成为瓶颈;网络端从 server 这台机器传输大量数据到 client 这台机器,将会占用很大带宽,对网络也有压力。
因此 一个scan 操作会分为多次 rpc 来实现。 我们在 scan 的时候,会设置 maxsize 和 cache,maxsize 表示本次 scan 要扫描返回的总条数,cache 表示一次 rpc 返回的数据条数。
HTable table=(HTable) getHTablePool().getTable("tb_stu");
Scan scan=new Scan();
scan.setMaxResultSize(10000);
scan.setCacheing(500);
ResultScanner rs = table.getScanner(scan);
Result r = rs.next();
每执行一次 rs.next(),都是在发起一次 rpc 请求。
server 端会比较 hbase.client.scanner.timeout.period 和 hbase.rpc.timeout 两个参数,按照其中较小的来判断是否超时。比如scanner.timeout.period 设置为6000ms,rpc.timeout为3000ms,则在超过3000ms时,就会报socketTimeout异常,主动断开连接。
ref:
hbase客户端超时机制:http://hbasefly.com/2016/06/11/hbase-client-2/
设置rpc超时后无效的解决方法:https://stackoverflow.com/questions/30923351/hbase-client-rpc-timeout
到了这里,关于hbase 设置超时参数的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!