ES elasticsearch-analysis-dynamic-synonym连接数据库动态更新synonym近义词

这篇具有很好参考价值的文章主要介绍了ES elasticsearch-analysis-dynamic-synonym连接数据库动态更新synonym近义词。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

ES elasticsearch-analysis-dynamic-synonym连接数据库动态更新synonym近义词

修改源码实现连接数据库获取近义词汇
下载elasticsearch-analysis-dynamic-synonym打开项目(https://github.com/bells/elasticsearch-analysis-dynamic-synonym/tree/master)

一、修改pom.xml

引入依赖

<dependency>
	<groupId>mysql</groupId>
	<artifactId>mysql-connector-java</artifactId>
	<version>8.0.21</version>
</dependency>

<!--或者oracle-->
<dependency>
    <groupId>com.oracle.ojdbc</groupId>
    <artifactId>ojdbc8</artifactId>
    <version>19.3.0.0</version>
</dependency>

将pom文件中的版本修改成跟你的es版本号一样的,比如我的是7.2.0

使用不同的版本对应的lucene包不同,某些代码略有不同,根据编译器提示修改即可,下面的代码照常添加

<version>7.2.0</version>

二、 修改main/assemblies/plugin.xml

​ 在标签下添加 根据不同环境二选一

 <!--添加mysql-connector依赖-->
<dependencySet>
    <outputDirectory/>
    <useProjectArtifact>true</useProjectArtifact>
    <useTransitiveFiltering>true</useTransitiveFiltering>
    <includes>
    	<include>mysql:mysql-connector-java</include>
    </includes>
</dependencySet>

<!--将 oracle 的 jar 包打包进 zip 包-->
<dependencySet>
    <outputDirectory/>
    <useProjectArtifact>true</useProjectArtifact>
    <useTransitiveFiltering>true</useTransitiveFiltering>
    <includes>
        <include>com.oracle.ojdbc:ojdbc8</include>
    </includes>
</dependencySet>

在标签下添加(与标签同级)

<fileSets>
    <fileSet>
        <directory>${project.basedir}/config</directory>
        <outputDirectory>config</outputDirectory>
    </fileSet>
</fileSets>

三、jdbc配置文件

在项目根目录下创建config/jdbc.properties文件,写入以下内容

# mysql
jdbc.driver=com.mysql.cj.jdbc.Driver
jdbc.url=jdbc:mysql://localhost:3306/test?useUnicode=true&characterEncoding=utf8&autoReconnect=true&useSSL=false&serverTimezone=Asia/Shanghai
jdbc.username=账号
jdbc.password=密码
#近义词sql查询语句。(注意要以words字段展示)
synonym.word.sql=SELECT `keys` AS words FROM es_synonym WHERE ifdel = '0'
#获取近义词最后更新时间,用来判断是否发生了更新。(注意要以maxModitime词汇显示)
synonym.lastModitime.sql=SELECT MAX(moditime) AS maxModitime FROM es_synonym
interval=10

# 配置连接oracle数据库
jdbc.driver=oracle.jdbc.driver.OracleDriver
jdbc.url=jdbc:oracle:thin:@127.0.0.1:1521:ORCL
jdbc.username=root
jdbc.password=123456
#近义词sql查询语句。(注意要以words字段展示)
synonym.word.sql=select SYNONYM_KEY as words from es_synonym where IS_DELETED = '0'
#获取近义词最后更新时间,用来判断是否发生了更新。(注意要以maxModitime词汇显示)
synonym.lastModitime.sql=SELECT MAX(UPD_TIME) AS maxModitime FROM es_synonym
interval=60

四、编写加载词汇类

1、创建DynamicSynonymFromDb类

在com.bellszhu.elasticsearch.plugin.synonym.analysis包下,我们可以看到很多加载近义词汇的类,比如RemoteSynonymFile类就是通过接口来加载近义词词汇的。
​ 我们在该包下创建类DynamicSynonymFromDb,同时继承SynonymFile接口,该类是用来读取数据库的近义词汇的,代码如下:文章来源地址https://www.toymoban.com/news/detail-765074.html

/**
 * @author yandi
 * @date 2023/06/15
 */
public class DynamicSynonymFromDb implements SynonymFile {
   

    /**
     * 配置文件名
     */
    private final static String DB_PROPERTIES = "jdbc.properties";

    private static Logger logger = LogManager.getLogger("dynamic-synonym");

    private String format;

    private boolean expand;

    private boolean lenient;

    private Analyzer analyzer;

    private Environment env;

    /**
     * 动态配置类型
     */
    private String location;

    /**
     * 作用类型
     */
    private String group;

    private long lastModified;

    private Path conf_dir;

    private JdbcConfig jdbcConfig;

    DynamicSynonymFromDb(Environment env, Analyzer analyzer,
                         boolean expand, boolean lenient, String format, String location, String group) {
   
        this.analyzer = analyzer;
        this.expand = expand;
        this.lenient = lenient;
        this.format = format;
        this.env = env;
        this.location = location;
        this.group = group;
        // 读取配置文件
        setJdbcConfig();
        // 加载驱动
        try {
   
            Class.forName(jdbcConfig.getDriver());
        } catch (ClassNotFoundException e) {
   
            e.printStackTrace();
        }
        // 判断是否需要加载
        isNeedReloadSynonymMap()

到了这里,关于ES elasticsearch-analysis-dynamic-synonym连接数据库动态更新synonym近义词的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • ES之API系列--dynamic template(动态模板)的用法(有实例)

    原文网址:ES之API系列--dynamic template(动态模板)的用法(有实例)_IT利刃出鞘的博客-CSDN博客 说明         本文介绍ElasticSearch的dynamic template(动态模板)的用法(有实例)。 官网网址 https://www.elastic.co/guide/en/elasticsearch/reference/8.0/dynamic-templates.html 作用概述         动态模板是针对

    2023年04月16日
    浏览(37)
  • elasticsearch安装dynamic-synonym插件

    ​ 今天就来和大家讲讲如何在es中安装dynamic-synonym插件,首先我们需要去github上下载与es版本对应的插件,一般github上基本都是本地词库和远程文本词库的,在gitee上可以找到采用数据库作为词库的源码,大致思路就是修改一些参数配置,然后自己创建一个表作为同义词词库,

    2024年02月11日
    浏览(41)
  • elasticsearch Too many dynamic script 问题

    报错: Caused by: ElasticsearchException [Elasticsearch exception [type=circuit_breaking_exception, reason=[script]  Too many dynamic script compilations within, max: [75/5m];  please use indexed, or scripts with parameters instead;  this limit can be changed by the [script.max_compilations_rate] setting]]   解决方案:更

    2024年02月16日
    浏览(36)
  • Linux下安装ElasticSearch-analysis-ik中文分词器插件,以及可能出现的异常处理

            注意:安装可以采用在线方式、离线方式,但是不建议在线安装,速度超级慢,本文只介绍离线安装方式                 下载地址:https://github.com/medcl/elasticsearch-analysis-ik                 切记选择版本需要跟ElasticSearch保持一致,否则可能会出现一些未知的异

    2024年02月07日
    浏览(67)
  • elasticsearch插件安装(二)之dynamic-synonym插件

    ​ 今天就来和大家讲讲如何在es中安装dynamic-synonym插件,首先我们需要去github上下载与es版本对应的插件,一般github上基本都是本地词库和远程文本词库的,在gitee上可以找到采用数据库作为词库的源码,大致思路就是修改一些参数配置,然后自己创建一个表作为同义词词库,

    2024年02月03日
    浏览(33)
  • elasticsearch启动报错:Plugin [analysis-ik] was built for Elasticsearch version 8.2.3 but version7.4.0

    启动失败后从es的日志文件中可以看到以下。 Plugin [analysis-ik] was built for Elasticsearch version 8.2.3 but version7.4.0 解决办法:修改 plugin-descriptor.properties 文件中 elasticsearch.version=你的ES版本号 然后重启启动elasticsearch就可以了

    2024年02月12日
    浏览(42)
  • 【ARM 常见汇编指令学习 8 - dsb sy 指令及 dsb 参数介绍】

    上篇文章:ARM 常见汇编指令学习 7 - LDR 指令与LDR伪指令及 mov指令 下篇文章:ARM 常见汇编指令学习 9 - 缓存管理指令 DC 与 IC 数据同步屏障是一种特殊类型的内存屏障。 只有当DSB指令执行完毕后,才会执行程序中位于此指令后的指令。 当满足以下条件时,此指令才会完成:

    2024年02月09日
    浏览(50)
  • 双目视觉检测 KX02-SY1000型测宽仪 有效修正和消除距离变化对测量的影响

    双目视觉检测的基本原理 利用相机测量宽度时,由于单个相机在成像时存在“近大远小”的现象,并且单靠摄入的图像无法知道被测物的距离,所以由被测物的跳动导致的被测物到工业相机之间距离变化,使测量精度难以提高。 因此测宽仪需要采用两个相机从不同的角度对

    2024年02月06日
    浏览(44)
  • 【elasticsearch】elasticsearch es读写原理

    今天来学习下 es 的写入原理。 Elasticsearch底层使用Lucene来实现doc的读写操作: 没有并发设计 lucene 只是一个搜索引擎库,并没有涉及到分布式相关的设计,因此要想使用Lucene来处理海量数据,并利用分布式的能力,就必须在其之上进行分布式的相关设计。 非实时 将文件写入

    2023年04月08日
    浏览(48)
  • ES(elasticsearch)报错elasticsearch.keystore

    准备启动ES发现报错如下elasticsearch.keystore,一直没弄清楚怎么回事,即便我按照keystore搜索也没有,后来我才意识到是权限的问题啊兄弟们!你们看其他文件都是lin:lin,只有这个elasticsearch.keystore归属于root,因为它是在我启动后才生成的,自然在我设置归属的时候没有

    2024年02月12日
    浏览(39)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包