结巴分词-强大的中文分词器实践(java版)

这篇具有很好参考价值的文章主要介绍了结巴分词-强大的中文分词器实践(java版)。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

简介

原生jieba分词是强大的Python组件,可以用来进行关键词提取,标注以及定位。

java版支持三种模式

  • 精确模式:试图将句子最精确地切开,适合文本分析;
  • 全模式:把句子中所有的可以成词的词语都扫描出来, 速度非常快,但是不能解决歧义;
  • 搜索引擎模式:在精确模式的基础上,对长词再次切分,提高召回率,适合用于搜索引擎分词

使用

导入maven依赖

项目地址:https://github.com/huaban/jieba-analysis

com.huaban
jieba-analysis
1.0.2

三种模式使用

准备一段文本 奥利给 我是照明灯具 普通型 安全出口标志灯 DC36V 6W 壁式,看三种模式抽取出的关键词区别

  • 代码
    结巴分词-强大的中文分词器实践(java版)
    结巴分词-强大的中文分词器实践(java版)
  • 效果
    精确模式:["奥利","给","我","是","照明灯","具","普通型","安全","出口","标志灯","DC36V6W","壁式"]
    INDEX模式:["奥利","给","我","是","照明","明灯","照明灯","具","普通","普通型","安全","出口","标志","标志灯","dc36v6w","壁式"]
    SEARCH模式:["奥利","给","我","是","照明灯","具","普通型","安全","出口","标志灯","dc36v6w","壁式"]
    可以看出serch模式和精确模式区别不大

自定义词典

jieba 分词内置了常用词典,在源代码目录下有个dic.txt文件
结巴分词-强大的中文分词器实践(java版)

当内置词典不满足我们的业务场景时,可以自定义词典
词典格式和 dict.txt 一样,一个词占一行;每一行分三部分:词语、词频(可省略)、词性(可省略),用空格隔开,顺序不可颠倒

举个栗子,把文本中的奥利给 和 我是照明灯 定义成关键词,就得这样定义
奥利给 50
我是照明灯具 50

  • 新建自定义词典文件:
    在resource 目录下新建jiebaCon目录,并新建自定词典文件
    结巴分词-强大的中文分词器实践(java版)
  • 加载用户词典文件
    结巴分词-强大的中文分词器实践(java版)
  • 效果
    结巴分词-强大的中文分词器实践(java版)

动态加载用户词典

思路:从外部读取词典数据,生成临时文件供jieba分词组件使用

  • 代码
    结巴分词-强大的中文分词器实践(java版)
  • 效果
    结巴分词-强大的中文分词器实践(java版)

实例代码

关注公众号,回复jieba 即可获取源码
结巴分词-强大的中文分词器实践(java版)文章来源地址https://www.toymoban.com/news/detail-599275.html

到了这里,关于结巴分词-强大的中文分词器实践(java版)的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包赞助服务器费用

相关文章

  • Elasticsearch_分词器、搜索文档以及原生JAVA操作

    Elasticsearch_分词器、搜索文档以及原生JAVA操作

    ES文档的数据拆分成一个个有完整含义的,并将与文档对应,这样就可以通过查询文档。要想正确的分词,需要选择合适的分词器。 standard analyzer:Elasticsearch的默认分词器,根据空格和标点符号对应英文进行分词,会进行单词的大小写转换。 默认分词器是

    2024年02月03日
    浏览(8)
  • elasticsearch安装中文分词IK启动异常:java.nio.file.AccessDeniedException

    启动错误信息如下: 问题原因:plugins中添加的ik目录没有权限; 解决方案:进入elasticsearch容器对应plugins目录下,进行 chmod 777 ik 授权即可。

    2024年02月03日
    浏览(7)
  • 华为OD机试 - 中文分词模拟器(Java & JS & Python & C)

    题目描述 给定一个连续不包含空格的字符串,该字符串仅包含英文小写字母及英文标点符号(逗号、分号、句号),同时给定词库,对该字符串进行精确分词。 说明: 精确分词:字符串分词后,不会出现重叠。即\\\"ilovechina\\\",不同词库可分割为\\\"i,love,china\\\",\\\"ilove,china\\\",不能分

    2024年02月01日
    浏览(11)
  • 华为OD机试 - 中文分词模拟器(Java & JS & Python & C & C++)

    哈喽,本题库完全免费,收费是为了防止被爬,大家订阅专栏后可以私信联系退款。感谢支持 给定一个连续不包含空格的字符串,该字符串仅包含英文小写字母及英文标点符号(逗号、分号、句号),同时给定词库,对该字符串进行精确分词。 说明: 精确分词:字符串分词

    2024年04月10日
    浏览(6)
  • ElasticSearch 中的中文分词器以及索引基本操作详解,Java高并发编程详解深入理解pdf

    ElasticSearch 中的中文分词器以及索引基本操作详解,Java高并发编程详解深入理解pdf

    PUT book/_settings { “number_of_replicas”: 2 } 修改成功后,如下: 更新分片数也是一样。 2.3 修改索引的读写权限 索引创建成功后,可以向索引中写入文档: PUT book/_doc/1 { “title”:“三国演义” } 写入成功后,可以在 head 插件中查看: 默认情况下,索引是具备读写权限的,当然这

    2024年04月09日
    浏览(7)
  • elasticsearch 安装 IK 中文分词器插件提示找不到文件的异常(Exception in thread “main“ java.nio.file.NoSuchFileException)

    elasticsearch 安装 IK 中文分词器插件提示找不到文件的异常(Exception in thread “main“ java.nio.file.NoSuchFileException)

    错误截图 在命令行窗口,执行如下命令安装 IK 中文分词器 失败。 错误日志 1、自己到github下载对应版本的ik中文分词器 上面命令中两个插件版本号应该和 Elasticsearch 的版本保持一致,我现在用的是 7.14.1 版本。 首先版本和命令是对得上的。 命令行窗口通过命令下载失败的话

    2024年04月11日
    浏览(10)
  • Java调用Midjourney进行AI画图原生版抓包实现支持中文

    Java调用Midjourney进行AI画图原生版抓包实现支持中文

    Midjourney是一个目前优秀的AI画图工具,不挂梯无法直接访问 本代码主要用于搭建镜像站使用 本代码不适合新手,建议使用过okhttp、且具有二开能力的同学使用~ 通过调用发送信息接口发送请求,通过轮询房间消息接口判断是否作图完成 发送的时候带上我们存储好的cookie信息

    2024年02月09日
    浏览(7)
  • 详细介绍NLP中文分词原理及分词工具

    详细介绍NLP中文分词原理及分词工具

    正向最大匹配算法FMM 从左到右扫描文本,得到词的最大匹配。 案例分析: 用正向最大匹配法对“秦皇岛今天晴空万里”进行中文分词,见下表。 词典 :“秦皇岛”“岛”“今天”“天晴”“晴空万里”“万里”…… 根据当前词典,单词扫描的最大长度 max=4 正向最大匹配函

    2023年04月17日
    浏览(11)
  • 本地elasticsearch中文分词器 ik分词器安装及使用

    本地elasticsearch中文分词器 ik分词器安装及使用

    ElasticSearch 内置了分词器,如标准分词器、简单分词器、空白词器等。但这些分词器对我们最常使用的中文并不友好,不能按我们的语言习惯进行分词。 ik分词器就是一个标准的中文分词器。它可以根据定义的字典对域进行分词,并且支持用户配置自己的字典,所以它除了可

    2024年02月05日
    浏览(10)
  • 物联网协议之COAP简介及Java实践

    物联网协议之COAP简介及Java实践

    目录 前言 一、COAP简介 1、关于COAP  2、COAP特点 3、基于COAP的NB-IoT接入流程 二、CoAP协议JAVA实践 1、californium介绍 2、Java集成  3、Maven 资源引入 4、定义Server端 5、Client调用 6、运行测试 总结         今天平安夜,祝大家圣诞快乐,平平安安。最近几年,随着物联网的兴起,很

    2024年02月04日
    浏览(8)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包