结巴分词-强大的中文分词器实践(java版)

这篇具有很好参考价值的文章主要介绍了结巴分词-强大的中文分词器实践(java版)。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

简介

原生jieba分词是强大的Python组件,可以用来进行关键词提取,标注以及定位。

java版支持三种模式

  • 精确模式:试图将句子最精确地切开,适合文本分析;
  • 全模式:把句子中所有的可以成词的词语都扫描出来, 速度非常快,但是不能解决歧义;
  • 搜索引擎模式:在精确模式的基础上,对长词再次切分,提高召回率,适合用于搜索引擎分词

使用

导入maven依赖

项目地址:https://github.com/huaban/jieba-analysis

com.huaban
jieba-analysis
1.0.2

三种模式使用

准备一段文本 奥利给 我是照明灯具 普通型 安全出口标志灯 DC36V 6W 壁式,看三种模式抽取出的关键词区别

  • 代码
    结巴分词-强大的中文分词器实践(java版)
    结巴分词-强大的中文分词器实践(java版)
  • 效果
    精确模式:["奥利","给","我","是","照明灯","具","普通型","安全","出口","标志灯","DC36V6W","壁式"]
    INDEX模式:["奥利","给","我","是","照明","明灯","照明灯","具","普通","普通型","安全","出口","标志","标志灯","dc36v6w","壁式"]
    SEARCH模式:["奥利","给","我","是","照明灯","具","普通型","安全","出口","标志灯","dc36v6w","壁式"]
    可以看出serch模式和精确模式区别不大

自定义词典

jieba 分词内置了常用词典,在源代码目录下有个dic.txt文件
结巴分词-强大的中文分词器实践(java版)

当内置词典不满足我们的业务场景时,可以自定义词典
词典格式和 dict.txt 一样,一个词占一行;每一行分三部分:词语、词频(可省略)、词性(可省略),用空格隔开,顺序不可颠倒

举个栗子,把文本中的奥利给 和 我是照明灯 定义成关键词,就得这样定义
奥利给 50
我是照明灯具 50

  • 新建自定义词典文件:
    在resource 目录下新建jiebaCon目录,并新建自定词典文件
    结巴分词-强大的中文分词器实践(java版)
  • 加载用户词典文件
    结巴分词-强大的中文分词器实践(java版)
  • 效果
    结巴分词-强大的中文分词器实践(java版)

动态加载用户词典

思路:从外部读取词典数据,生成临时文件供jieba分词组件使用

  • 代码
    结巴分词-强大的中文分词器实践(java版)
  • 效果
    结巴分词-强大的中文分词器实践(java版)

实例代码

关注公众号,回复jieba 即可获取源码
结巴分词-强大的中文分词器实践(java版)文章来源地址https://www.toymoban.com/news/detail-599275.html

到了这里,关于结巴分词-强大的中文分词器实践(java版)的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • Elasticsearch_分词器、搜索文档以及原生JAVA操作

    ES文档的数据拆分成一个个有完整含义的,并将与文档对应,这样就可以通过查询文档。要想正确的分词,需要选择合适的分词器。 standard analyzer:Elasticsearch的默认分词器,根据空格和标点符号对应英文进行分词,会进行单词的大小写转换。 默认分词器是

    2024年02月03日
    浏览(44)
  • 华为OD机试 - 中文分词模拟器(Java & JS & Python & C)

    题目描述 给定一个连续不包含空格的字符串,该字符串仅包含英文小写字母及英文标点符号(逗号、分号、句号),同时给定词库,对该字符串进行精确分词。 说明: 精确分词:字符串分词后,不会出现重叠。即\\\"ilovechina\\\",不同词库可分割为\\\"i,love,china\\\",\\\"ilove,china\\\",不能分

    2024年02月01日
    浏览(69)
  • elasticsearch安装中文分词IK启动异常:java.nio.file.AccessDeniedException

    启动错误信息如下: 问题原因:plugins中添加的ik目录没有权限; 解决方案:进入elasticsearch容器对应plugins目录下,进行 chmod 777 ik 授权即可。

    2024年02月03日
    浏览(62)
  • 华为OD机试 - 中文分词模拟器(Java & JS & Python & C & C++)

    哈喽,本题库完全免费,收费是为了防止被爬,大家订阅专栏后可以私信联系退款。感谢支持 给定一个连续不包含空格的字符串,该字符串仅包含英文小写字母及英文标点符号(逗号、分号、句号),同时给定词库,对该字符串进行精确分词。 说明: 精确分词:字符串分词

    2024年04月10日
    浏览(45)
  • ElasticSearch 中的中文分词器以及索引基本操作详解,Java高并发编程详解深入理解pdf

    PUT book/_settings { “number_of_replicas”: 2 } 修改成功后,如下: 更新分片数也是一样。 2.3 修改索引的读写权限 索引创建成功后,可以向索引中写入文档: PUT book/_doc/1 { “title”:“三国演义” } 写入成功后,可以在 head 插件中查看: 默认情况下,索引是具备读写权限的,当然这

    2024年04月09日
    浏览(48)
  • elasticsearch 安装 IK 中文分词器插件提示找不到文件的异常(Exception in thread “main“ java.nio.file.NoSuchFileException)

    错误截图 在命令行窗口,执行如下命令安装 IK 中文分词器 失败。 错误日志 1、自己到github下载对应版本的ik中文分词器 上面命令中两个插件版本号应该和 Elasticsearch 的版本保持一致,我现在用的是 7.14.1 版本。 首先版本和命令是对得上的。 命令行窗口通过命令下载失败的话

    2024年04月11日
    浏览(52)
  • Java调用Midjourney进行AI画图原生版抓包实现支持中文

    Midjourney是一个目前优秀的AI画图工具,不挂梯无法直接访问 本代码主要用于搭建镜像站使用 本代码不适合新手,建议使用过okhttp、且具有二开能力的同学使用~ 通过调用发送信息接口发送请求,通过轮询房间消息接口判断是否作图完成 发送的时候带上我们存储好的cookie信息

    2024年02月09日
    浏览(38)
  • 详细介绍NLP中文分词原理及分词工具

    正向最大匹配算法FMM 从左到右扫描文本,得到词的最大匹配。 案例分析: 用正向最大匹配法对“秦皇岛今天晴空万里”进行中文分词,见下表。 词典 :“秦皇岛”“岛”“今天”“天晴”“晴空万里”“万里”…… 根据当前词典,单词扫描的最大长度 max=4 正向最大匹配函

    2023年04月17日
    浏览(54)
  • 本地elasticsearch中文分词器 ik分词器安装及使用

    ElasticSearch 内置了分词器,如标准分词器、简单分词器、空白词器等。但这些分词器对我们最常使用的中文并不友好,不能按我们的语言习惯进行分词。 ik分词器就是一个标准的中文分词器。它可以根据定义的字典对域进行分词,并且支持用户配置自己的字典,所以它除了可

    2024年02月05日
    浏览(69)
  • 物联网协议之COAP简介及Java实践

    目录 前言 一、COAP简介 1、关于COAP  2、COAP特点 3、基于COAP的NB-IoT接入流程 二、CoAP协议JAVA实践 1、californium介绍 2、Java集成  3、Maven 资源引入 4、定义Server端 5、Client调用 6、运行测试 总结         今天平安夜,祝大家圣诞快乐,平平安安。最近几年,随着物联网的兴起,很

    2024年02月04日
    浏览(37)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包