Linux centos solr8.11.2下载与安装配置建立索引(全量、增量更新)全套图解版

这篇具有很好参考价值的文章主要介绍了Linux centos solr8.11.2下载与安装配置建立索引(全量、增量更新)全套图解版。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

目录

1.文档说明

2.下载准备2.1.Solr下载地址

2.2.ik-analyzer下载地址

3.安装配置3.1.前提准备

3.2.启动服务

 3.3.停止服务

3.4.安全访问

3.5.Add Core

3.6.配置中文分词器

3.7.与MYSQL表建立索引(准备条件)

3.8.与MYSQL表建立索引(全量更新)

3.9.与MYSQL表建立索引(增量更新)

3.10.Solr建立索引3.10.1.建立索引

 3.10.2.刷新状态

 3.10.3.文档数量

 3.11.查询验证

3.12.Solr定时任务建立索引3.12.1.获取验证令牌

 3.12.2.配置定时任务


1.文档说明

此文档说明在Linux Centos7.5版本下安装solr8.11.2的过程、安全访问、配置core、配置中文分词、建立与MYSQL指定表的全量索引和增量索引方式、查询数据验证、定时调度索引等。

安装环境当前版本

[root@VM-0-17-centos ~]# cat /etc/redhat-release
CentOS Linux release 7.5.1804 (Core)
[root@VM-0-17-centos ~]# cat /proc/version
Linux version 3.10.0-1127.19.1.el7.x86_64 (mockbuild@kbuilder.bsys.centos.org) (gcc version 4.8.5 20150623 (Red Hat 4.8.5-39) (GCC) ) #1 SMP Tue Aug 25 17:23:54 UTC 2020

2.下载准备 2.1.Solr下载地址

solr下载官方首页:Solr Downloads - Apache Solr

目前最新版本是9.0的,9.0对JDK的版本要求比较高,基于目前服务器相关应用所以选择了8.11.2版本的下载。

8.11.2版本下载地址如下:https://dlcdn.apache.org/lucene/solr/8.11.2/solr-8.11.2.tgz

2.2.ik-analyzer下载地址

ik-analyzer下载(中文分词需用到),可参考地址:

Central Repository: com/github/magese/ik-analyzer

Linux centos solr8.11.2下载与安装配置建立索引(全量、增量更新)全套图解版

选择了8.3.1版本下载:

https://repo1.maven.org/maven2/com/github/magese/ik-analyzer/8.3.1/ik-analyzer-8.3.1-javadoc.jar

3.安装配置 3.1.前提准备

安装好JDK1.8并设置好JAVA_HOME环境变量,JDK的安装步骤不在这里描述。

3.2.启动服务

tar xvf solr-8.11.2.tgz
进入bin目录:/solr-8.11.2/bin
./solr start -p 8983 -force

浏览器访问以下地址可查看solr服务界面

http://localhost:8983/

若是购买的云服务器,需要开通安全组端口8983的访问权限或者主机防火墙端口,若是装了宝塔面板的也需要在宝塔中开放此端口。

Linux centos solr8.11.2下载与安装配置建立索引(全量、增量更新)全套图解版

 3.3.停止服务

进入bin目录:/solr-8.11.2/bin

./solr stop

3.4.安全访问

在目录/solr-8.11.2/server/etc下面新增文件user.properties

vi user.properties

cshongye:12345678,admin

其中cshongye为登录名(自行调整),12345678为密码(自行调整),admin是登录角色;也是可以参考此格式配置多行,多行也就意味着可以配置多个登录用户访问solr服务;

Linux centos solr8.11.2下载与安装配置建立索引(全量、增量更新)全套图解版

找到目录:/solr-8.11.2/server/contexts,编辑文件solr-jetty-context.xml

增加以下内容:

  <!--添加配置权限认证  开始-->
  <Get name="securityHandler">
    <Set name="loginService">
      <New class="org.eclipse.jetty.security.HashLoginService">
       <Set name="name">verify—name</Set>
      <Set name="config"><SystemProperty name="jetty.home" default="."/>/etc/user.properties</Set>
      </New>
    </Set>
  </Get>
  <!--添加配置权限认证  结束-->

Linux centos solr8.11.2下载与安装配置建立索引(全量、增量更新)全套图解版

找到目录:/solr-8.11.2/server/solr-webapp/webapp/WEB-INF编辑文件web.xml,添加以下内容: 

 <security-constraint>
    <web-resource-collection>
      <web-resource-name>Solr</web-resource-name>
      <url-pattern>/</url-pattern>
    </web-resource-collection>
    <auth-constraint>
      <role-name>admin</role-name>
    </auth-constraint>
  </security-constraint>
  <login-config>
    <auth-method>BASIC</auth-method>
    <realm-name>verify-name</realm-name>
  </login-config>

Linux centos solr8.11.2下载与安装配置建立索引(全量、增量更新)全套图解版

经过以上配置操作后,重启服务后访问系统需用户名和密码方可进入solr服务。

3.5.Add Core

Linux centos solr8.11.2下载与安装配置建立索引(全量、增量更新)全套图解版

点击按钮Add Core会报错,缺少XML文件的配置,这个时候需要复制

/solr-8.11.2/server/solr/configsets/_default/conf下面所有的文件到目录:/solr-8.11.2/server/solr/new_core

Linux centos solr8.11.2下载与安装配置建立索引(全量、增量更新)全套图解版

Linux centos solr8.11.2下载与安装配置建立索引(全量、增量更新)全套图解版

复制过来后,将managed-schema文件重命名为schema.xml

然后刷新页面Core Admin

Linux centos solr8.11.2下载与安装配置建立索引(全量、增量更新)全套图解版

3.6.配置中文分词器

可参考链接:solr 使用IK分词器_鸭梨的药丸哥的博客-CSDN博客_solr配置ik分词器

也可以参考章节“单机版solr”进行安装:

cc/ik-analyzer-solr

Linux centos solr8.11.2下载与安装配置建立索引(全量、增量更新)全套图解版

其中第2点的5个文件在这个位置可以下载:

cc/ik-analyzer-solr - Gitee.com

Linux centos solr8.11.2下载与安装配置建立索引(全量、增量更新)全套图解版

将这5个文件上传至目录:/solr-8.11.2/server/solr-webapp/webapp/WEB-INF/classes

Linux centos solr8.11.2下载与安装配置建立索引(全量、增量更新)全套图解版

其中第3点,在目录/solr-8.11.2/server/solr/new_core/conf编辑文件managed-schema

Linux centos solr8.11.2下载与安装配置建立索引(全量、增量更新)全套图解版

验证中文分词:

Linux centos solr8.11.2下载与安装配置建立索引(全量、增量更新)全套图解版

3.7.与MYSQL表建立索引(准备条件)

CREATE TABLE `rss_item` (
  `id` varchar(50) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci DEFAULT NULL COMMENT '主键',
  `title` varchar(200) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci DEFAULT NULL COMMENT '标题',
  `link` varchar(500) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci DEFAULT NULL COMMENT '网址',
  `author` varchar(50) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci DEFAULT NULL COMMENT '作者',
  `keyword` varchar(50) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci DEFAULT NULL COMMENT '关键字',
  `pudate` datetime DEFAULT NULL COMMENT '发布日期',
  `description` text CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci COMMENT '摘要',
  `del` int DEFAULT '0' COMMENT '是否删除 正常0、删除1',
  `createId` varchar(10) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci DEFAULT NULL COMMENT '创建人',
  `create_by` varchar(10) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci DEFAULT NULL COMMENT '创建人姓名',
  `create_date` datetime DEFAULT NULL COMMENT '创建时间',
  `updateId` varchar(10) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci DEFAULT NULL COMMENT '更新人',
  `update_by` varchar(10) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci DEFAULT NULL COMMENT '更新人名称',
  `update_date` datetime DEFAULT NULL COMMENT '更新时间',
  UNIQUE KEY `rss_item_id_IDX` (`id`) USING BTREE
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_general_ci 

3.8.与MYSQL表建立索引(全量更新)

Linux centos solr8.11.2下载与安装配置建立索引(全量、增量更新)全套图解版

<?xml version="1.0" encoding="UTF-8" ?>
<dataConfig>
    <!-- 数据库信息 -->
    <dataSource type="JdbcDataSource" 
        driver="com.mysql.jdbc.Driver" 
        url="jdbc:mysql://localhost:3308/dbname?characterEncoding=utf-8" 
        user="your username" password="your self password" encoding="UTF-8"/>
    <document>
         <entity name="rss_item" pk="id" 
		 query="select * from rss_item where del = 0"
		 >
            <!-- 对应数据库表的字段 -->
            <field column="id" name="id" />
            <field column="title" name="title" />
			<field column="link" name="link" />
			<field column="author" name="author" />
			<field column="keyword" name="keyword" />
			<field column="pubdate" name="pubdate" />
			<field column="create_date" name="create_date" />
			<field column="create_date" name="create_date" />
            <field column="description" name="description" />
        </entity>
    </document>
</dataConfig>

3.9.与MYSQL表建立索引(增量更新)

Linux centos solr8.11.2下载与安装配置建立索引(全量、增量更新)全套图解版

<?xml version="1.0" encoding="UTF-8" ?>
<dataConfig>
    <!-- 数据库信息 -->
    <dataSource type="JdbcDataSource" 
        driver="com.mysql.jdbc.Driver" 
        url="jdbc:mysql://localhost:3308/dbname?characterEncoding=utf-8" 
        user="your username" password="your self password" encoding="UTF-8"/>
    <document>
         <entity name="rss_item" pk="id" 
		 query="select * from rss_item where del = 0"
		 deltaImportQuery="select * from rss_item where id='${dih.delta.id}'"
		 deltaQuery="select id from rss_item where create_date > '${dataimporter.last_index_time}' and del=0"
		 deletedPkQuery="select id from rss_item where del=1"
		 >
            <!-- 对应数据库表的字段 -->
            <field column="id" name="id" />
            <field column="title" name="title" />
			<field column="link" name="link" />
			<field column="author" name="author" />
			<field column="keyword" name="keyword" />
			<field column="pubdate" name="pubdate" />
			<field column="create_date" name="create_date" />
			<field column="create_date" name="create_date" />
            <field column="description" name="description" />
        </entity>
    </document>
</dataConfig>

3.10.Solr建立索引 3.10.1.建立索引

Linux centos solr8.11.2下载与安装配置建立索引(全量、增量更新)全套图解版

 3.10.2.刷新状态

Linux centos solr8.11.2下载与安装配置建立索引(全量、增量更新)全套图解版

 3.10.3.文档数量

Linux centos solr8.11.2下载与安装配置建立索引(全量、增量更新)全套图解版

 3.11.查询验证

以上我们建立了索引文档,那我们来验证查询,也想看看索引的数据长什么样子的。

Linux centos solr8.11.2下载与安装配置建立索引(全量、增量更新)全套图解版

关于query里面的各个参数的使用可以参考:

https://blog.csdn.net/sun5769675/article/details/50718874

3.12.Solr定时任务建立索引 3.12.1.获取验证令牌

Linux centos solr8.11.2下载与安装配置建立索引(全量、增量更新)全套图解版​​​​​​​

 3.12.2.配置定时任务

参照linux  curl命令

curl -H 'Authorization: Basic your token' -X GET http://localhost:8983/solr/new_core/dataimport?command=full-import&clean=true&commit=true&wt=json&indent=true&entity=rss_item&verbose=false&optimize=false&debug=false

可配置到自己的crontab中,或者配置到其他任务调度工具或者宝塔面板的计划任务,以下是宝塔面板计划任务的截图:

Linux centos solr8.11.2下载与安装配置建立索引(全量、增量更新)全套图解版文章来源地址https://www.toymoban.com/news/detail-428488.html

到了这里,关于Linux centos solr8.11.2下载与安装配置建立索引(全量、增量更新)全套图解版的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 使用ubuntu cuda11.2安装pytorch

    在使用镜像新建了一个 cuda11.2-python3.9 容器配置环境的过程中需要安装PyTorch。一开始我直接使用 pip install torch 来进行安装,但是运行程序时出现报错: 这个错误表明目前系统上安装的 NVIDIA 驱动程序版本太旧,不满足 PyTorch 对 cuda驱动程序的要求。根据提示我们可以选择更新

    2024年02月04日
    浏览(32)
  • cuda11.2版本的对应安装的pytorch版本

    因为电脑里有配置paddle环境,当时用的cuda11.2,现在又要配置torch环境,查看torch官网后发现没有cuda11.2版本对应的torch下载。 考虑到版本向下兼容,可能不一定非要下载cuda=11.2对应的那个版本的torch,或许低于这个版本就可以。所以我就选择下载cuda11.1的版本。 以下是pytorch对

    2024年02月12日
    浏览(42)
  • 解决Ubuntu20.04安装CUDA-11.2报256错误的问题

    提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档 最近在给一台Ubuntu20.04的电脑装cuda-11.2版本的时候遇到了些错,经过一些列研究终于解决了这个问题。我记录了下来,希望情况和我一样的小伙伴可以解决这个问题。 报错的原因可以说是内核,也可以说

    2024年02月15日
    浏览(43)
  • 【多版本cuda自由切换】在ubuntu上安装多个版本的CUDA,并且可以随时切换cuda-11.3//cuda-11.8//cuda-11.6//cuda-11.2

    问题描述         项目开发中,不同的项目可能对不同的cuda版本有所要求,常见的是这几种cuda-11.3//cuda-11.8//cuda-11.6,按照之前的认知,一个主机只能安装一个版本的cuda,否则会引起环境混乱,知道cuda底层逻辑的人都知道这有多么扯蛋,对吧。         也正是因为受到这个

    2024年02月03日
    浏览(37)
  • CentOS7的下载、安装和配置(详细图解)

    Centos7的安装包可以去官网(https://www.centos.org/)下载,但速度比较慢。 也可以用搜索引擎搜索国内镜像站点的安装包文件与官网同步,下载的速度非常快。   百度网盘分享: 链接:https://pan.baidu.com/s/100a9M1u4QmOToDog5FAybg 提取码:7911   在VMware中创建新的虚拟机。 点击下一步。

    2024年02月09日
    浏览(31)
  • CentOS-7 下载安装并配置Java-19 (包含卸载和安装)

    版本号:CentOS-7-x86_64-Minimal-2009 Windows版本:Windows 11 家庭中文版 22H2 Vmware版本:VMware® Workstation 17 Pro - 17.0.1 build-21139696 安装的 Java 版本:jdk-19 先提一嘴,这里共有三种方法,一种是 rpm 下载的方法,一种是 yum 的方法,最后一种是先下载到主机然后上传到虚拟机进行解压(使

    2024年02月03日
    浏览(37)
  • centos Linux 下载安装 jdk1.8

    Linux 下载安装 jdk1.8 一、下载 二、解压 用 tar 命令- C 解压到指定的目录下 三、配置环境变量 在/etc/profile 文件中 末行添加 配置 jdk 环境 四、测试 Java 环境是否成功

    2024年01月18日
    浏览(33)
  • 官网下载JAVA的JDK11版本(下载、安装、配置环境变量)

    目录 前言必读: 一、下载JDK11 1.先去浏览器搜索 2.选择Products 3.Java 4.往下滑找到Oracle JDK,然后点击 5.往下滑找到Java11,再选择自己的操作系统  6.选择exe这个直接安装的后缀 7.跳出来的弹窗勾选,并点击 8.弹出来一个甲骨文的账号登录界面,可以选择 二、安装步骤 9.点击下载

    2024年02月01日
    浏览(83)
  • Solr框架 01 Solr框架简介,安装,配置(Analysis,Dataimport)

    Solr简介: Solr是一个高性能,基于Lucene的全文搜索服务器。同时对其进行了扩展,提供了比Lucene更为丰富的查询语言,同时实现了可配置、可扩展,并对查询性能进行了优化,并且提供了一个完善的功能管理界面,是一款非常优秀的全文搜索引擎。 Solr本质就是一个Java web 项

    2024年02月11日
    浏览(28)
  • linux centos上安装python3.11.x详细完整教程

    一. 安装步骤 注意: 1、安装python3.11的其他版本替换下面的版本信息即可。(如想安装3.11.5将案例中的3.11.0替换成3.11.5即可) 若要卸载,直接 rm -rf /usr/python 即可 二. 报错处理 1. make编译的时候出现报错 即 如果不处理此报错,会出现: ModuleNotFoundError: No module named \\\'_ssl\\\' 的问题。

    2024年02月04日
    浏览(41)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包