互联网Java工程师面试题·Elasticsearch 篇·第一弹

这篇具有很好参考价值的文章主要介绍了互联网Java工程师面试题·Elasticsearch 篇·第一弹。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

目录

1、elasticsearch 了解多少,说说你们公司 es 的集群架构,索引数据大小,分片有多少,以及一些调优手段 。

1.1  设计阶段调优

1.2  写入调优

1.3  查询调优

1.4  其他调优

2、elasticsearch 的倒排索引是什么

3、elasticsearch 索引数据多了怎么办,如何调优,部署

3.1 动态索引层面

3.2 存储层面

3.3 部署层面

4、elasticsearch 是如何实现 master 选举的

5、详细描述一下 Elasticsearch 索引文档的过程

6、详细描述一下 Elasticsearch 搜索的过程?

7、Elasticsearch 在部署时,对 Linux 的设置有哪些优化方法

8、lucence 内部结构是什么?

9、Elasticsearch 是如何实现 Master 选举的?

10、Elasticsearch 中的节点(比如共 20 个),其中的 10 个选了一个 master,另外 10 个选了另一个 master,怎么办?

11、客户端在和集群连接时,如何选择特定的节点执行请求的?


1、elasticsearch 了解多少,说说你们公司 es 的集群架构,索引数据大小,分片有多少,以及一些调优手段 。

面试官 :想了解应聘者之前公司接触的 ES 使用场景、规模,有没有做过比较大规模的索引设计、规划、调优。
解答
如实结合自己的实践场景回答即可。
比如: ES 集群架构 13 个节点,索引根据通道不同共 20+ 索引,根据日期,每日递增 20+ ,索引: 10 分片,每日递增 1 亿 + 数据,每个通道每天索引大小控制:150GB 之内。
仅索引层面调优手段:

1.1  设计阶段调优

1 、根据业务增量需求,采取基于日期模板创建索引,通过 roll over API 滚动索引;
2 、使用别名进行索引管理;
3 、每天凌晨定时对索引做 force_merge 操作,以释放空间;
4 、采取冷热分离机制,热数据存储到 SSD ,提高检索效率;冷数据定期进行 shrink操作,以缩减存储;
5 、采取 curator 进行索引的生命周期管理;
6 、仅针对需要分词的字段,合理的设置分词器;
7 Mapping 阶段充分结合各个字段的属性,是否需要检索、是否需要存储等。

1.2  写入调优

1 、写入前副本数设置为 0
2 、写入前关闭 refresh_interval 设置为 -1 ,禁用刷新机制;
3 、写入过程中:采取 bulk 批量写入;
4 、写入后恢复副本数和刷新间隔;
5 、尽量使用自动生成的 id

1.3  查询调优

1 、禁用 wildcard
2 、禁用批量 terms (成百上千的场景);
3 、充分利用倒排索引机制,能 keyword 类型尽量 keyword
4 、数据量大时候,可以先基于时间敲定索引再检索;
5 、设置合理的路由机制。

1.4  其他调优

部署调优,业务调优等。
上面的提及一部分,面试者就基本对你之前的实践或者运维经验有所评估了。

2、elasticsearch 的倒排索引是什么

面试官 :想了解你对基础概念的认知。
解答 :通俗解释一下就可以。
传统的我们的检索是通过文章,逐个遍历找到对应关键词的位置。
而倒排索引,是通过分词策略,形成了词和文章的映射关系表,这种词典 + 映射表,即为倒排索引。
有了倒排索引,就能实现 o 1 )时间复杂度 的效率检索文章了,极大的提高了检索效率。
互联网Java工程师面试题·Elasticsearch 篇·第一弹,千题千解·Java面试宝典,java,elasticsearch,开发语言,大数据,服务器
学术的解答方式:
倒排索引,相反于一篇文章包含了哪些词,它从词出发,记载了这个词在哪些文档中出现过,由两部分组成—— 词典和倒排表。
加分项 :倒排索引的底层实现是基于: FST Finite State Transducer )数据结构。
lucene 4+ 版本后开始大量使用的数据结构是 FST FST 有两个优点:
1 、空间占用小。通过对词典中单词前缀和后缀的重复利用,压缩了存储空间;
2 、查询速度快。 O(len(str)) 的查询时间复杂度。

3、elasticsearch 索引数据多了怎么办,如何调优,部署

面试官 :想了解大数据量的运维能力。
解答 :索引数据的规划,应在前期做好规划,正所谓 设计先行,编码在后 ,这样才能有效的避免突如其来的数据激增导致集群处理能力不足引发的线上客户检索或者其他业务受到影响。
如何调优,正如问题 1 所说,这里细化一下:

3.1 动态索引层面

基于 模板 + 时间 +rollover api 滚动 创建索引,举例:设计阶段定义: blog 索引的模板格式为:blog_index_ 时间戳的形式,每天递增数据。
这样做的好处:不至于数据量激增导致单个索引数据量非常大,接近于上线 2 的32 次幂 -1 ,索引存储达到了 TB+ 甚至更大。
一旦单个索引很大,存储等各种风险也随之而来,所以要提前考虑 + 及早避免。

3.2 存储层面

冷热数据分离存储 ,热数据(比如最近 3 天或者一周的数据),其余为冷数据。对于冷数据不会再写入新数据,可以考虑定期 force_merge shrink 压缩操作,节省存储空间和检索效率。

3.3 部署层面

一旦之前没有规划,这里就属于应急策略。
结合 ES 自身的支持动态扩展的特点,动态新增机器的方式可以缓解集群压力,注意:如果之前主节点等规划合理 ,不需要重启集群也能完成动态新增的。

4、elasticsearch 是如何实现 master 选举的

面试官 :想了解 ES 集群的底层原理,不再只关注业务层面了。
解答
前置前提:
1 、只有候选主节点( master true )的节点才能成为主节点。
2 、最小主节点数( min_master_nodes )的目的是防止脑裂。
这个我看了各种网上分析的版本和源码分析的书籍,云里雾里。
核对了一下代码,核心入口为 findMaster ,选择主节点成功返回对应 Master ,否则返回 null 。选举流程大致描述如下:
第一步:确认候选主节点数达标, elasticsearch.yml 设置的值
discovery.zen.minimum_master_nodes
第二步:比较:先判定是否具备 master 资格,具备候选主节点资格的优先返回;若两节点都为候选主节点,则 id 小的值会主节点。注意这里的 id string 类型。

5、详细描述一下 Elasticsearch 索引文档的过程

面试官 :想了解 ES 的底层原理,不再只关注业务层面了。
解答
这里的索引文档应该理解为文档写入 ES ,创建索引的过程。
文档写入包含:单文档写入和批量 bulk 写入,这里只解释一下:单文档写入流程。
记住官方文档中的这个图。
互联网Java工程师面试题·Elasticsearch 篇·第一弹,千题千解·Java面试宝典,java,elasticsearch,开发语言,大数据,服务器
第一步:客户写集群某节点写入数据,发送请求。(如果没有指定路由 / 协调节点,请求的节点扮演路由节点 的角色。)
第二步:节点 1 接受到请求后,使用文档 _id 来确定文档属于分片 0 。请求会被转到另外的节点,假定节点 3 。因此分片 0 的主分片分配到节点 3 上。
第三步:节点 3 在主分片上执行写操作,如果成功,则将请求并行转发到节点 1 和节点 2 的副本分片上,等待结果返回。所有的副本分片都报告成功,节点 3 将向协调节点(节点 1 )报告成功,节点 1 向请求客户端报告写入成功。
如果面试官再问:第二步中的文档获取分片的过程?
回答:借助路由算法获取,路由算法就是根据路由和文档 id 计算目标的分片 id 的过程。
1shard = hash(_routing) % (num_of_primary_shards)

6、详细描述一下 Elasticsearch 搜索的过程?

面试官 :想了解 ES 搜索的底层原理,不再只关注业务层面了。
解答
搜索拆解为 “query then fetch” 两个阶段。
query 阶段的目的:定位到位置,但不取。
步骤拆解如下:
1 、假设一个索引数据有 5 +1 副本 共 10 分片,一次请求会命中(主或者副本分片中)的一个。
2 、每个分片在本地进行查询,结果返回到本地有序的优先队列中。
3 、第 2 )步骤的结果发送到协调节点,协调节点产生一个全局的排序列表。
fetch 阶段的目的:取数据。
路由节点获取所有文档,返回给客户端。

7、Elasticsearch 在部署时,对 Linux 的设置有哪些优化方法

面试官 :想了解对 ES 集群的运维能力。
解答
1 、关闭缓存 swap;
2 、堆内存设置为: Min (节点内存 /2, 32GB ;
3 、设置最大文件句柄数;
4 、线程池 + 队列大小根据业务需要做调整;
5 、磁盘存储 raid 方式 —— 存储有条件使用 RAID10 ,增加单节点性能以及避免单节点存储故障。

8、lucence 内部结构是什么?

面试官 :想了解你的知识面的广度和深度。
解答
互联网Java工程师面试题·Elasticsearch 篇·第一弹,千题千解·Java面试宝典,java,elasticsearch,开发语言,大数据,服务器
        Lucene 是有索引和搜索的两个过程,包含索引创建,索引,搜索三个要点。可以基于这个脉络展开一些。
        最近面试一些公司,被问到的关于 Elasticsearch 和搜索引擎相关的问题,以及自己总结的回答。

9、Elasticsearch 是如何实现 Master 选举的?

1 Elasticsearch 的选主是 ZenDiscovery 模块负责的,主要包含 Ping (节点之间通过这个 RPC 来发现彼此)和 Unicast (单播模块包含一个主机列表以控制哪些节点需要 ping 通)这两部分;
2 、对所有可以成为 master 的节点( node.master: true )根据 nodeId 字典排序,每次选举每个节点都把自己所知道节点排一次序,然后选出第一个(第 0 位)节点,暂且认为它是 master 节点。
3 、如果对某个节点的投票数达到一定的值(可以成为 master 节点数 n/2+1 )并且该节点自己也选举自己,那这个节点就是 master 。否则重新选举一直到满足上述条件。
4 、补充: master 节点的职责主要包括集群、节点和索引的管理,不负责文档级别的管理;data 节点可以关闭 http 功能 *

10、Elasticsearch 中的节点(比如共 20 个),其中的 10 个选了一个 master,另外 10 个选了另一个 master,怎么办?

1 、当集群 master 候选数量不小于 3 个时,可以通过设置最少投票通过数量(discovery.zen.minimum_master_nodes )超过所有候选节点一半以上来解决脑裂问题;
2 、当候选数量为两个时,只能修改为唯一的一个 master 候选,其他作为 data节点,避免脑裂问题。

11、客户端在和集群连接时,如何选择特定的节点执行请求的?

        TransportClient 利用 transport 模块远程连接一个 elasticsearch 集群。它并不加入到集群中,只是简单的获得一个或者多个初始化的 transport 地址,并以轮询 的方式与这些地址进行通信。

要想了解更多:

千题千解·Java面试宝典_时光の尘的博客-CSDN博客文章来源地址https://www.toymoban.com/news/detail-741213.html

互联网Java工程师面试题·Elasticsearch 篇·第一弹,千题千解·Java面试宝典,java,elasticsearch,开发语言,大数据,服务器

到了这里,关于互联网Java工程师面试题·Elasticsearch 篇·第一弹的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包赞助服务器费用

相关文章

  • 2023Java 岗面试,进互联网大厂必备 Java 面试八股文真题解析

    2023Java 岗面试,进互联网大厂必备 Java 面试八股文真题解析

    前言 一般技术面试官都会通过自己的方式去考察程序员的技术功底与基础理论知识。 很多时候,面试官问的问题会和自己准备的“题库”中的问题不太一样,即使做了复盘,下次面试还是不知道该从何处下手。 为此鄙人软磨硬泡才把阿里 P8 专门归纳整理的 《Java 进阶知识典

    2024年02月15日
    浏览(18)
  • 华为Java工程师面试题

    常见问题: 什么是Java虚拟机(JVM)?它与现实中的计算机有什么不同? Java中的基本数据类型有哪些?它们的范围是什么? 什么是引用类型?Java中的引用类型有哪些? 什么是对象?什么是类?它们之间的关系是什么? Java中如何实现继承?继承的好处和缺点是什么? 什么是

    2024年02月08日
    浏览(12)
  • 2023年互联网Java面试复习大纲:ZK+Redis+MySQL+Java基础+架构

    2023年互联网Java面试复习大纲:ZK+Redis+MySQL+Java基础+架构

    多数的公司总体上面试都是以自我介绍+项目介绍+项目细节/难点提问+基础知识点考核+算法题这个流程下来的。有些公司可能还会问几个实际的场景类的问题,这个环节阿里是必问的,这种问题通常是没有正确答案的,就看个人的理解,个人的积累了。剩下的就没啥了,都是

    2024年02月09日
    浏览(13)
  • JAVA工程师面试专题-JVM篇

    目录 一、运行时数据区 1、说一下JVM的主要组成部分及其作用? 2、说一下 JVM 运行时数据区 ? 3、说一下堆栈的区别 4、成员变量、局部变量、类变量分别存储在什么地方? 5、类常量池、运行时常量池、字符串常量池有什么区别? 6、JVM为什么使用元空间替换永久代 二、垃

    2024年02月21日
    浏览(9)
  • 2023互联网大厂最全Java面试八股文(附大厂 P5-P8 技术栈)

    2023互联网大厂最全Java面试八股文(附大厂 P5-P8 技术栈)

    为什么感觉 Java 面试变难了? 几年前,你只需要简单的 ssm 框架 ,就能轻松找到一份 Java 的工作,但现在不一样了,随着涌入这个行业的人越来越多,同一个岗位需要筛选掉更多人,要求自然水涨船高, 这也就是现在越来越多 Java 程序员抱怨行业越来越卷的原因 ,当然这个

    2024年02月15日
    浏览(14)
  • 金三银四互联网大厂秋招精选 1160 道 Java 面试题答案整理(2023 最新版)

    金三银四互联网大厂秋招精选 1160 道 Java 面试题答案整理(2023 最新版)

    今年的大环境而言,面试成功的难度比往年高了很多,很明显的感受就是:对于今年的 java 开发朋友面试, 无论一面还是二面,都开始考验一个 Java 程序员的技术功底和基础。 Java 基础掌握不牢,对于一个开发人员来说无疑是非常致命的。学习任何一个技术知识无疑不是从基

    2024年02月09日
    浏览(9)
  • java工程师面试技巧和方法,这份Github标星50K,相关资料参考

    java工程师面试技巧和方法,这份Github标星50K,相关资料参考

    Dubbo 为什么要用 Dubbo? Dubbo 的整体架构设计有哪些分层? 默认使用的是什么通信框架,还有别的选择吗? 服务调用是阻塞的吗? 一般使用什么注册中心?还有别的选择吗? 默认使用什么序列化框架,你知道的还有哪些? 服务提供者能实现失效提出是什么原理? 服务上线怎么

    2024年04月16日
    浏览(16)
  • 【面试】互联网相关面试题

    这个问题一般都是面试的必问题,通常也是面试中的第一道题!时间应当控制在一分钟左右。 从我们上小学开始,老师上课的第一件事就都是先让大家做下自我介绍,以便增强大家对你的了解,在现在的企业面试中也是一样的道理,一般人回答这个问题过于平常,只说姓名、

    2023年04月11日
    浏览(9)
  • java智慧工地云平台源码,以物联网、移动互联网技术为基础,结合大数据、云计算等,实现工程管理绿色化、数字化、精细化、智能化的效果

    java智慧工地云平台源码,以物联网、移动互联网技术为基础,结合大数据、云计算等,实现工程管理绿色化、数字化、精细化、智能化的效果

    智慧工地将更多人工智能、传感技术、虚拟现实等高科技技术植入到建筑、机械、人员穿戴设施、场地进出关口等各类物体中,围绕人、机、料、法、环等各方面关键因素,彻底改变传统建筑施工现场参建各方现场管理的交互方式、工作方式和管理模式,智慧工地主要以物联

    2024年02月08日
    浏览(14)
  • 面试互联网企业的经验

    持续更新中...... 因为博主今年研二,目前是8月初,正在找工作,所以在这里分享总结一下自己面试得到的经验。(因为学校较好,所以一般简历不会挂我,大小厂都会给机会...) 1. 不要紧张,语速放慢 从我的两段大厂实习经历来看,大厂的员工从学历到能力方面,和自己的差

    2024年02月14日
    浏览(10)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包