ElasticSearch-使用IK分词器进行分词

这篇具有很好参考价值的文章主要介绍了ElasticSearch-使用IK分词器进行分词。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

使用KIbana测试IK分词器

打开开发工具台

ElasticSearch-使用IK分词器进行分词,JSON,elasticsearch,java,大数据

ik_smart 最少分词器

分词结果比较少

GET _analyze

{

  "analyzer": "ik_smart",

  "text": "中国共产党"

}

ElasticSearch-使用IK分词器进行分词,JSON,elasticsearch,java,大数据

ik_max_word 颗粒度最细分词器

分词结果比较多,组成各种结果,穷尽词库的可能!

GET _analyze

{

  "analyzer": "ik_max_word",

  "text": "中国共产党"

}

ElasticSearch-使用IK分词器进行分词,JSON,elasticsearch,java,大数据

再看个例子,把我们的句子换成 超级喜欢魏一鹤学习Java

首先看最少分词

ElasticSearch-使用IK分词器进行分词,JSON,elasticsearch,java,大数据

然后是最细颗粒度分词

ElasticSearch-使用IK分词器进行分词,JSON,elasticsearch,java,大数据

问题来了 我们输入超级喜欢魏一鹤学习Java,发现魏一鹤被拆开了,这种需要自己加入到分词器字典中的词如何处理呢?

IK分词器自定义词汇

找到并且打开IKAnalyzer.cfg分词器配置文件

ElasticSearch-使用IK分词器进行分词,JSON,elasticsearch,java,大数据

自己自定义新建一个dic文件,一个dic就算一个字典,ik自带的字典是远远不够用的,我们需要手动去创建字典

ElasticSearch-使用IK分词器进行分词,JSON,elasticsearch,java,大数据

新增字典项内容并且保存

ElasticSearch-使用IK分词器进行分词,JSON,elasticsearch,java,大数据

然后把我们自定义配置的字典加入到配置文件让字典生效

ElasticSearch-使用IK分词器进行分词,JSON,elasticsearch,java,大数据

配置完之后保存,然后重启es,注意观察,在重启es的时候会发现黑窗口已经加载我们自定义的字典weiyihe.dic

ElasticSearch-使用IK分词器进行分词,JSON,elasticsearch,java,大数据

重启kibana,再次测试使用过自定义字典之后魏一鹤是否被分割

不管是哪种分词,魏一鹤都没被分割!说明我们自定义字典配置成功!

ElasticSearch-使用IK分词器进行分词,JSON,elasticsearch,java,大数据

以后需要什么词汇,直接在我们的weiyihe.dic字典中去定义即可使用文章来源地址https://www.toymoban.com/news/detail-542466.html

到了这里,关于ElasticSearch-使用IK分词器进行分词的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • Elasticsearch下载安装,IK分词器、Kibana下载安装使用,elasticsearch使用演示

    首先给出自己使用版本的网盘链接:自己的版本7.17.14 链接:https://pan.baidu.com/s/1FSlI9jNf1KRP-OmZlCkEZw 提取码:1234 一般情况下 Elastic Search(ES) 并不单独使用,例如主流的技术组合 ELK(Elasticsearch + Logstash + Kibana ) 1. Elasticsearch下载 下载之前,先看下和 JDK 版本的对应关系,版本

    2024年02月05日
    浏览(46)
  • ElasticSearch之IK分词器安装以及使用介绍

    elasticsearch 默认的内置分词器对中文的分词效果可能并不理想,因为它们主要是针对英文等拉丁语系的文本设计的。如果要在中文文本上获得更好的分词效果,我们可以考虑使用中文专用的分词器。 IK 分词器是一个开源的中文分词器插件,特别为 Elasticsearch 设计和优化。它在

    2024年02月13日
    浏览(41)
  • “Elasticsearch + Kibana + ik分词器“介绍与使用

    Elasticsearch 是一个分布式、RESTful 风格的搜索和数据分析引擎,能够解决不断涌现出的各种用例。 作为 Elastic Stack 的核心,它集中存储您的数据,帮助您发现意料之中以及意料之外的情况。 Elasticsearch 官方介绍 官方文档 官方中文 社区中文1 社区中文2 1、Index (索引) 2、Typ

    2023年04月08日
    浏览(75)
  • elasticsearch安装中文分词IK启动异常:java.nio.file.AccessDeniedException

    启动错误信息如下: 问题原因:plugins中添加的ik目录没有权限; 解决方案:进入elasticsearch容器对应plugins目录下,进行 chmod 777 ik 授权即可。

    2024年02月03日
    浏览(64)
  • laravel如何使用scout+elasticsearch搜索,并支持IK分词

    本扩展包支持IK分词设置。 在按下文操作前请先阅读 laravel scout 全文搜索文档 安装 您可以通过composer安装软件包 wannanbigpig/laravel-scout-elastic: Laravel 会自动注册驱动服务提供者。 Elasticsearch 配置 安装完成后,您应该使用vendor:publish Artisan命令发布Scout配置文件。该命令将把scou

    2024年02月06日
    浏览(83)
  • Elasticsearch使用系列-ES增删查改基本操作+ik分词

    ES是一个NoSql数据库应用。和其他数据库一样,我们为了方便操作查看它,需要安装一个可视化工具 Kibana。 官网: https://www.elastic.co/cn/downloads/kibana 和前面安装ES一样,选中对应的环境下载,这里选择windows环境,注意安装的版本一定要和ES的版本一致,不然可能会启动不起来。

    2024年02月01日
    浏览(56)
  • windows安装Elasticsearch后使用ik分词器报错解决办法

    最近在学习Elasticsearch,安装完成后下载了ik分词器压缩到plugins目录下启动es报错如下: 咋一看以为是es对应的jdk自带的权限不足导致的,查看jdk自带的文件查看权限没有发现问题:D:Code StudyTechnologyESelasticsearch-8.11.1jdklibsecurity下的default.policy 后面发现是路径带了空格,把

    2024年01月20日
    浏览(50)
  • elasticsearch基础6——head插件安装和web页面查询操作使用、ik分词器

    插件是用户以自定义方式增强es功能的一种方法,分两类,核心插件和社区贡献插件。 插件太多,只需要熟悉插件的安装流程即可,根据项目需要再自行安装。 核心插件: 核心插件属于es项目,插件的版本号始终与es安装包的版本号相同,这些插件由es团队维护。 项目地址

    2024年02月14日
    浏览(45)
  • 中文分词入门:使用IK分词器进行文本分词(附Java代码示例)

    中文分词是将连续的中文文本切分成一个个独立的词语的过程,是中文文本处理的基础。IK分词器是一个高效准确的中文分词工具,采用了\\\"正向最大匹配\\\"算法,并提供了丰富的功能和可定制选项。 细粒度和颗粒度的分词模式选择。 可自定义词典,提高分词准确性。 支持中文

    2024年02月17日
    浏览(59)
  • elasticsearch IK分词器

    说明:es默认的分词器对中文的识别不是特别好,一段话的分词是一个一个汉字,这显然没有达到想要的结果。 可以安装IK分词器,兼容中文的分词; 安装 安装IK分词器,例如elasticsearch的容器名为es; (命令方式,安装速度慢,网络状况不好非常容易失败,而且会丢失文件,

    2024年02月16日
    浏览(35)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包