强大的中文分词器--结巴分词(java版)

这篇具有很好参考价值的文章主要介绍了强大的中文分词器--结巴分词(java版)。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

简介

原生jieba分词是强大的Python组件,可以用来进行关键词提取,标注以及定位。

java版支持三种模式

  • 精确模式:试图将句子最精确地切开,适合文本分析;
  • 全模式:把句子中所有的可以成词的词语都扫描出来, 速度非常快,但是不能解决歧义;
  • 搜索引擎模式:在精确模式的基础上,对长词再次切分,提高召回率,适合用于搜索引擎分词

使用

导入maven依赖

项目地址:https://github.com/huaban/jieba-analysis

com.huaban
jieba-analysis
1.0.2

三种模式使用

准备一段文本 奥利给 我是照明灯具 普通型 安全出口标志灯 DC36V 6W 壁式,看三种模式抽取出的关键词区别

  • 代码
    强大的中文分词器--结巴分词(java版)
    强大的中文分词器--结巴分词(java版)
  • 效果
    精确模式:["奥利","给","我","是","照明灯","具","普通型","安全","出口","标志灯","DC36V6W","壁式"]
    INDEX模式:["奥利","给","我","是","照明","明灯","照明灯","具","普通","普通型","安全","出口","标志","标志灯","dc36v6w","壁式"]
    SEARCH模式:["奥利","给","我","是","照明灯","具","普通型","安全","出口","标志灯","dc36v6w","壁式"]
    可以看出serch模式和精确模式区别不大

自定义词典

jieba 分词内置了常用词典,在源代码目录下有个dic.txt文件
强大的中文分词器--结巴分词(java版)

当内置词典不满足我们的业务场景时,可以自定义词典
词典格式和 dict.txt 一样,一个词占一行;每一行分三部分:词语、词频(可省略)、词性(可省略),用空格隔开,顺序不可颠倒

举个栗子,把文本中的奥利给 和 我是照明灯 定义成关键词,就得这样定义
奥利给 50
我是照明灯具 50

  • 新建自定义词典文件:
    在resource 目录下新建jiebaCon目录,并新建自定词典文件
    强大的中文分词器--结巴分词(java版)
  • 加载用户词典文件
    强大的中文分词器--结巴分词(java版)
  • 效果
    强大的中文分词器--结巴分词(java版)

动态加载用户词典

思路:从外部读取词典数据,生成临时文件供jieba分词组件使用

  • 代码
    强大的中文分词器--结巴分词(java版)
  • 效果
    强大的中文分词器--结巴分词(java版)

实例代码

关注公众号,回复jieba 即可获取源码
强大的中文分词器--结巴分词(java版)文章来源地址https://www.toymoban.com/news/detail-599235.html

到了这里,关于强大的中文分词器--结巴分词(java版)的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包赞助服务器费用

相关文章

  • 中文分词库jieba的三种模式介绍

    中文分词库jieba的三种模式介绍

    精准模式 jieba.cut(test_text, cut_all=False): 试图将句子最精确地分开,适合文本分析 全模式 jieba.cut(test_text, cut_all=True): 把句子中所有的可以成词的词语都扫描出来,速度非常快,但是不能解决歧义 搜索引擎模式 jieba.cut_for_search(test_text):在精确模式的基础上,对长词再次切分,提

    2024年02月13日
    浏览(7)
  • Python文本分析之中文分词(jieba库)

    (1)全自动安装 (2)半自动安装 首先登入https://pypi.org/project/jieba/下载安装包 最后解压安装包: python setup py install (3)手动安装 首先登入https://pypi.org/project/jieba/下载安装包 最后把jieba目录放置在site-packages目录内 语法: jieba.cut(sentence, cut_all=False, HMM=True, use_paddle=False) 功能

    2024年02月07日
    浏览(20)
  • 【一】头歌平台实验-基于jieba的中文分词实战

    【一】头歌平台实验-基于jieba的中文分词实战

           近年来,随着自然语言处理技术的日益成熟,开源实现的分词工具越来越多,如 Ansj 、盘古分词等。Jieba 是目前最好的 Python 中文分词组件。 本实训主要介绍 Jieba 模块的使用,并通过示例与实战,帮助大家掌握使用 Jieba 的方法。 1、jieba的特点         分词是自然

    2024年02月05日
    浏览(52)
  • Python——jieba优秀的中文分词库(基础知识+实例)

    Python——jieba优秀的中文分词库(基础知识+实例)

    Hello,World! 从去年开始学习Python,在长久的学习过程中,发现了许多有趣的知识,不断充实自己。今天我所写的内容也是极具趣味性,关于优秀的中文分词库——jieba库。          🐒什么是jieba? 1、jieba 是目前表现较为不错的 Python 中文分词组件,它主要有以下特性: 中

    2024年02月03日
    浏览(10)
  • 使用.NET Jieba.NET 的 PosSegmenter 实现中文分词匹配

    使用.NET Jieba.NET 的 PosSegmenter 实现中文分词匹配

    ​ 目录 引言 1. 什么是中文分词 2. Jieba.NET简介 3. PosSegmenter介绍 4. 实现中文分词匹配 4.1 安装Jieba.NET库 4.2 创建PosSegmenter实例 4.3 分词和词性标注 4.4 中文分词匹配 5. 总结           在自然语言处理领域,中文分词是一个重要且基础的任务。中文文本通常没有像英文那样的

    2024年02月11日
    浏览(10)
  • es自定义分词器支持数字字母分词,中文分词器jieba支持添加禁用词和扩展词典

    自定义分析器,分词器 所有字段检索 高亮搜索 分词测试 GET /test_index/_analyze jieba中文分词支持添加禁用词和扩展词库功能 创建索引:PUT http://xxxx:9200/test_index 分词测试: GET http://xxxxxx:9200/test_index/_analyze

    2024年02月11日
    浏览(7)
  • 文本分析-使用jieba库进行中文分词和去除停用词(附案例实战)

    文本分析-使用jieba库进行中文分词和去除停用词(附案例实战)

      🤵‍♂️ 个人主页:@艾派森的个人主页 ✍🏻作者简介:Python学习者 🐋 希望大家多多支持,我们一起进步!😄 如果文章对你有帮助的话, 欢迎评论 💬点赞👍🏻 收藏 📂加关注+         中文分词是将中文文本切分成一系列有意义的词语的过程。中文分词可以用于

    2024年02月11日
    浏览(12)
  • NLP 之 jieba (结巴)制作词云

    NLP 之 jieba (结巴)制作词云

    一 、jieba的导入 二、 jieba 结巴分词的几种模式及使用 精确模式 精确划分,视图将句子最精确地切分,适合文本分析 全局模式 全模式 把句子中所有的可以成词的词语都扫描出来,速度非常快,但是不能解决歧义 搜索引擎模式 搜索引擎模式,是在精确划分的基础上,再进行

    2023年04月09日
    浏览(6)
  • Jieba分词统计词频及自定义分词词典

    Jieba分词统计词频及自定义分词词典

    统计词频的测试文本如下: 编写代码 运行代码查看统计结果 2.1 创建词典 首先我们创建一个 user_dict.txt 文本文件,在文件中添加我们需要的词典,如下所示: 2.2 编写代码 接着我们编写代码进行词典的测试,测试的文本如下: 首先我们 不导入 自定义的分词词典,看看分词

    2024年02月13日
    浏览(9)
  • NLP基础—jieba分词

    NLP基础—jieba分词

    支持四种分词模式 精确模式 试图将句子最精确地切开,适合文本分析; 全模式 把句子中所有的可以成词的词语都扫描出来, 速度非常快,但是不能解决歧义; 搜索引擎模式 在精确模式的基础上,对长词再次切分,提高召回率,适合用于搜索引擎分词。 paddle模式 利用Paddl

    2024年04月17日
    浏览(6)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包