fastapi结合Manticore Search、elasticsearch、mysql实现全文搜索

这篇具有很好参考价值的文章主要介绍了fastapi结合Manticore Search、elasticsearch、mysql实现全文搜索。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

1、将数据写入到mysql中

  • 创建测试表
CREATE TABLE `student` (
  `sno` varchar(10) COLLATE utf8mb4_unicode_ci NOT NULL,
  `sname` varchar(20) COLLATE utf8mb4_unicode_ci DEFAULT NULL,
  `sage` int(2) DEFAULT NULL,
  `ssex` varchar(5) COLLATE utf8mb4_unicode_ci DEFAULT NULL,
  `description` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci DEFAULT NULL,
  PRIMARY KEY (`sno`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci;
  • 测试表插入数据
insert into student values ('s001','张三',23,'男','张三是个好学生'); 
insert into student values ('s002','李四',23,'男','张三是个好学生');  
insert into student values ('s003','吴鹏',25,'男','张三是个好学生');  
insert into student values ('s004','琴沁',20,'女','张三是个好学生');  
insert into student values ('s005','王丽',20,'女','张三是个好学生');  
insert into student values ('s006','李波',21,'男','张三是个好学生');  
insert into student values ('s007','刘玉',21,'男','张三是个好学生');  
insert into student values ('s008','萧蓉',21,'女','张三是个好学生');  
insert into student values ('s009','陈萧晓',23,'女','张三是个好学生');  
insert into student values ('s010','陈美',22,'女','张三是个好学生');
  • 表字段描述

fastapi结合Manticore Search、elasticsearch、mysql实现全文搜索,fastapi,elasticsearch,mysql

  • 字段意义
sno 学号
sname	学生姓名
sage	学生年龄
ssex	学生性别
description	学生描述

2、python安装fastapi、elasticsearch框架、Manticore Search框架和mysql客户端

pip install elasticsearch==8.8.2
pip install pymysql
pip install manticoresearch

# Uvicorn是一个ASGI服务器,用于运行FastAPI应用。
pip install uvicorn
pip install fastapi

3、将mysql的数据写入到elasticsearch中

  • mysql数据同步到es
# mysql-to-es
# 本地es版本 8.8.2
# python es版本  8.8.2
import pymysql
from elasticsearch import Elasticsearch

def get_data():
    conn=pymysql.connect(host="localhost",port=3306,user="root",password="root",database="mydb")
    cursor=conn.cursor()
    sql="select * from student"
    t_header_sql = "desc student "
    cursor.execute(sql)
    results=cursor.fetchall()
    cursor.execute(t_header_sql)
    header_results = cursor.fetchall()
    conn.close()
    return results,header_results

def create_es_data():
    # es = Elasticsearch()
    es = Elasticsearch(
        [
            "https://192.168.10.1:9200",
        ],
        ca_certs="./path/to/http_ca.crt",	# es认证证书,8.0版本后开始使用
        basic_auth=("elastic", "U4mRQUoVeQ+YMzcCFD1t"),
        request_timeout=3600
    )
    try:
        data_results,cloumns_results = get_data()
        for row in data_results:
            message = {}
            for i in range(len(row)):
                # print(cloumns_results[i][0], row[i])
                message[cloumns_results[i][0]] = row[i]

            print(message)
            es.index(index="student", document=message)
    except Exception as e:
        print("Error:" + str(e))

if __name__=="__main__":
    create_es_data()
  • es查看数据(Elasticvue插件)

fastapi结合Manticore Search、elasticsearch、mysql实现全文搜索,fastapi,elasticsearch,mysql

 文章来源地址https://www.toymoban.com/news/detail-650262.html

4、将mysql的数据写入到Manticore中

  • mysql数据同步到Manticore

注:Manticore 和 Mysql 使用pymysql即mysql客户端

import pymysql

def get_data():
    conn = pymysql.connect(host="localhost", port=3306, user="root", password="root", database="mydb")
    cursor = conn.cursor()
    sql = "select * from student"
    t_header_sql = "desc student "
    cursor.execute(sql)
    results = cursor.fetchall()
    cursor.execute(t_header_sql)
    header_results = cursor.fetchall()
    header_tuple = tuple(x[0] for x in header_results)
    conn.close()
    return results, header_tuple

def inster_data_to_manticore():
    try:
        db = pymysql.connect(host='localhost', port=9306)
        print('manticoredb 连接成功!')
    except:
        print('something wrong!')

    if db:
        cursor = db.cursor()
        rows, header_tuple = get_data()
        header_str = str(header_tuple).replace("\'","")
        sql = 'drop table if exists students'
        cursor.execute(sql)
        db.commit()

        for row in rows:
            sql = f'INSERT INTO students{header_str} VALUES {row}'
            print(sql)
            cursor.execute(sql)
            db.commit()

if __name__ == '__main__':
    inster_data_to_manticore()
  • Manticore 数据查询(工具Webyog SQLyog)

fastapi结合Manticore Search、elasticsearch、mysql实现全文搜索,fastapi,elasticsearch,mysql

 

5、elasticsearch查找类的封装

  • es安全认证连接(参考官网)
  • 按fields查询方法封装,输入参数fields 筛选器,query查询字符串
# elasticsearch_query_class.py
from elasticsearch import Elasticsearch
class elasticsearchself():
    def __init__(self,index_name,index_type = '_doc'):
        self.es = Elasticsearch(
        [
            "https://192.168.10.1:9200",
        ],
        ca_certs="./path/to/http_ca.crt",
        basic_auth=("elastic", "U4mRQUoVeQ+YMzcCFD1t"),
        request_timeout=3600
        )
        self.index_name=index_name
        self.index_type=index_type

    def search_by_fields(self,query,fields,count:int=30):
        ds = {"multi_match": {"query": query,"fields": fields}}
        fields = ['sname','description']
        match_data=self.es.search(index=self.index_name,query=ds,size=count)
        return match_data

es=elasticsearchself(index_name="student")
query = "张三"
fields= ['sname','description']
match_data = es.search_by_fields(query,fields)
print(match_data)

6、Manticoresearch查找类的封装

# manticoreself.py

import manticoresearch
from manticoresearch.api import search_api
from manticoresearch.model.search_request import SearchRequest

class manticoresearchself():
    def __init__(self, index_name):
        self.configuration = manticoresearch.Configuration(
        host = "http://127.0.0.1:9308"
        )
        self.index_name = index_name

    def search_all_text(self,query):
        with manticoresearch.ApiClient(self.configuration) as api_client:
            # Create an instance of the API class
            api_instance = search_api.SearchApi(api_client)

            # # Create SearchRequest
            # search_request = SearchRequest()
            # search_request.index='students'
            # # search_request.fulltext_filter=QueryFilter(23)
            # search_request.fulltext_filter =

            search_request = SearchRequest(
                index='students',
                query={
                    "match":
                        {
                            "*" : query
                        }
                },
            )

            # example passing only required values which don't have defaults set
            try:
                # Performs a search
                api_response = api_instance.search(search_request)
                # pprint(api_response)
                return api_response
            except manticoresearch.ApiException as e:
                print("Exception when calling SearchApi->search: %s\n" % e)


mc=manticoresearchself(index_name="student")
query = "s004"
match_data = mc.search_all_text(query)
match_data_dict = match_data.__dict__
print(match_data._hits._hits[0]["_source"])

7、fastapi实现elasticseach的全文检索模糊查询

# main.py
from fastapi import FastAPI
from elasticsearch_query_class import elasticsearchself
import json
import time

app = FastAPI()

@app.get("/get_es/{query}")
async def get_es(query):
    fields = ['*']
    es=elasticsearchself(index_name="student")
    time_start = time.time()  # 记录开始时间
    data=es.search_by_fields(query,fields)
    time_end = time.time()  # 记录结束时间
    address_data=data["hits"]["hits"]
    address_list=[]
    for item in address_data:
        address_list.append(item["_source"])
    time_sum = time_end - time_start  # 计算的时间差为程序的执行时间,单位为秒/s
    address_list.append({"time_sum":time_sum})
    new_json=json.dumps(address_list,ensure_ascii=False)
    return json.loads(new_json)

思路: es创建筛选器列表fields,[*]表示所有字段,查询体query

8、fastapi实现Manticoresearch的全文检索筛选查询

# main.py
from fastapi import FastAPI
from manticoreself import manticoresearchself
import json
import time

app = FastAPI()

@app.get('/get_mc/<query>')
async def get_mc(query):
    mc = manticoresearchself(index_name="student")
    time_start = time.time()  # 记录开始时间
    data = mc.search_all_text(query)
    time_end = time.time()  # 记录结束时间
    address_data = data._hits._hits
    address_list = []
    for item in address_data:
        address_list.append(item["_source"])

    time_sum = time_end - time_start  # 计算的时间差为程序的执行时间,单位为秒/s
    address_list.append({"time_sum": time_sum})
    new_json = json.dumps(address_list, ensure_ascii=False)
    return json.loads(new_json)

思路: Manticoresearch 支持openapi查询接口,使用search_all_text api接口查询结果,查询体query

9、fastapi实现的Mysql列表字段全文查询

# main.py
from fastapi import FastAPI
import json
import time
import pymysql

app = FastAPI()

@app.get('/get_mysql/<query>')
async def get_mysql(query):
    conn = pymysql.connect(host="localhost", port=3306, user="root", password="root", database="mydb")
    cursor = conn.cursor()
    fields = "(sname, description, sno,ssex)"

    try:
        create_full_index_sql = f"create fulltext index full_idx_to_table on student{fields} "
        cursor.execute(create_full_index_sql)
    except:
        pass

    query_sql = f"select * from student where match{fields} against('{query}')"
    time_start = time.time()  # 记录开始时间
    cursor.execute(query_sql)
    time_end = time.time()  # 记录结束时间
    results = cursor.fetchall()
    address_list = []
    for row in results:
        address_list.append(row)
    time_sum = time_end - time_start  # 计算的时间差为程序的执行时间,单位为秒/s
    address_list.append({"time_sum": time_sum})
    new_json = json.dumps(address_list, ensure_ascii=False)
    return json.loads(new_json)

思路: 先创建需要查找的字段即筛选器,利用筛选器列表创建全文检索index(full_idx_to_table ) 后,使用fts(Full-Text Search)查询

10、fastapi实现接口源码即验证

  • fastapi源码
# main.py

from fastapi import FastAPI
from elasticsearch_query_class import elasticsearchself
import json
from manticoreself import manticoresearchself
import time
import pymysql

app = FastAPI()

@app.get("/get_es/{query}")
async def get_es(query):
    fields = ['*']
    es=elasticsearchself(index_name="student")
    time_start = time.time()  # 记录开始时间
    data=es.search_by_fields(query,fields)
    time_end = time.time()  # 记录结束时间
    address_data=data["hits"]["hits"]
    address_list=[]
    for item in address_data:
        address_list.append(item["_source"])
    time_sum = time_end - time_start  # 计算的时间差为程序的执行时间,单位为秒/s
    address_list.append({"time_sum":time_sum})
    new_json=json.dumps(address_list,ensure_ascii=False)
    return json.loads(new_json)

@app.get('/get_mc/<query>')
async def get_mc(query):
    mc = manticoresearchself(index_name="student")
    time_start = time.time()  # 记录开始时间
    data = mc.search_all_text(query)
    time_end = time.time()  # 记录结束时间
    address_data = data._hits._hits
    address_list = []
    for item in address_data:
        address_list.append(item["_source"])

    time_sum = time_end - time_start  # 计算的时间差为程序的执行时间,单位为秒/s
    address_list.append({"time_sum": time_sum})
    new_json = json.dumps(address_list, ensure_ascii=False)
    return json.loads(new_json)

@app.get('/get_mysql/<query>')
async def get_mysql(query):
    conn = pymysql.connect(host="localhost", port=3306, user="root", password="root", database="mydb")
    cursor = conn.cursor()
    fields = "(sname, description, sno,ssex)"

    try:
        create_full_index_sql = f"create fulltext index full_idx_to_table on student{fields} "
        cursor.execute(create_full_index_sql)
    except:
        pass

    query_sql = f"select * from student where match{fields} against('{query}')"
    time_start = time.time()  # 记录开始时间
    cursor.execute(query_sql)
    time_end = time.time()  # 记录结束时间
    results = cursor.fetchall()
    address_list = []
    for row in results:
        address_list.append(row)
    time_sum = time_end - time_start  # 计算的时间差为程序的执行时间,单位为秒/s
    address_list.append({"time_sum": time_sum})
    new_json = json.dumps(address_list, ensure_ascii=False)
    return json.loads(new_json)
  • 验证(地址:http://127.0.0.1:8000/dcos)

fastapi结合Manticore Search、elasticsearch、mysql实现全文搜索,fastapi,elasticsearch,mysql

 

fastapi结合Manticore Search、elasticsearch、mysql实现全文搜索,fastapi,elasticsearch,mysql

 fastapi结合Manticore Search、elasticsearch、mysql实现全文搜索,fastapi,elasticsearch,mysql

 

10、总结

  1. elasticsearch 全文搜索
  • 支持中、英全文搜索
  • 但速度没有mysql和Manticore Search快
  1. Manticore Search全文搜索
  • 暂时只支持英文全文搜索
  • 搜索速度快,相比es少量数据快,没有mysql少量数据快,但据官方显示大量数据时Manticore Search快于mysql
  1. Mysql全文搜索
  • 支持中、英搜索,中文时sql  against中加IN BOOLEAN MODE
  • 少量数据时搜索极快,但全文搜索时需要创建搜索数据的全文索引,有些麻烦

到了这里,关于fastapi结合Manticore Search、elasticsearch、mysql实现全文搜索的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • Elasticsearch实现全文搜索的步骤和实现原理

    ElasticSearch(简称为ES)是一个基于开源的分布式搜索和分析引擎,它提供了强大的全文搜索、结构化查询、实时数据分析和可视化等功能。它是建立在 Apache Lucene 搜索引擎库之上的,并且通过 RESTful API 提供了简单易用的接口。 以下是 ElasticSearch 的一些主要特点: 分布式架构

    2024年02月06日
    浏览(42)
  • ElasticSearch 实现分词全文检索 - SpringBoot 完整实现 Demo

    需求 做一个类似百度的全文搜索功能 搜素自动补全(suggest) 分词全文搜索 所用的技术如下: ElasticSearch Kibana 管理界面 IK Analysis 分词器 SpringBoot 实现流程 可以通过 Canal 对 MySQL binlog 进行数据同步,或者 flink 或者 SpringBoot 直接往ES里添加数据 当前以 SpringBoot 直接代码同

    2024年02月03日
    浏览(44)
  • SpringBoot封装Elasticsearch搜索引擎实现全文检索

    注:本文实现了Java对Elasticseach的分页检索/不分页检索的封装 ES就不用过多介绍了,直接上代码: 创建Store类(与ES字段对应,用于接收ES数据) Elasticsearch全文检索接口:不分页检索 Elasticsearch全文检索接口:分页检索 本文实现了Java对Elasticsearch搜索引擎全文检索的封装 传入

    2024年02月04日
    浏览(45)
  • ElasticSearch+Neo4j+ElasticSearch Head实现全文检索应用

    本文主要阐述利用ES、知识图谱(Neo4j)实现全文检索,并利用ElasticSearch Head开源项目进行全文检索测试。实验在图谱的帮助下如何开展全文检索功能,为后续的复杂查询或语义检索做准备。 一、运行环境 1.Linux 7.5 2.JDK 1.8.0_191 3.ElasticSearch 7.17.4,注意用ES自带的jdk,因为这个版

    2024年02月09日
    浏览(43)
  • 基于 ElasticSearch 实现站内全文搜索,写得太好了

    搜索引擎服务使用ElasticSearch 提供的对外web服务选则springboot web 1.1 ElasticSearch Elasticsearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎,基于RESTful web接口。Elasticsearch是用Java语言开发的,并作为Apache许可条款下的开放源码发布,是一种流行的企

    2024年04月27日
    浏览(30)
  • Java调用Elasticsearch API实现全文检索,搭配MinIO文件存储

    应用背景: 对存储在MinIO服务器的文件实现全文检索。也可以是其他服务器或本地文件,本文仅详细介绍MinIO文件的读取及转换。通过Elasticsearch的Ingest-Attachment插件抽取文件内容,支持Word、Excel、PDF、TXT等格式文件,无需手动解析文件内容。 上代码,详细解释可以阅读注释、

    2024年02月11日
    浏览(44)
  • FastApi-1-结合sql 增/查demo

    fastapi已经学习有一段时间,今天抽时间简单整理下。 官网介绍: FastAPI 是一个用于构建 API 的现代、快速(高性能)的 web 框架,使用 Python 3.6+ 并基于标准的 Python 类型提示。 快速:可与 NodeJS 和 Go 并肩的极高性能(归功于 Starlette 和 Pydantic)最快的 Python web 框架之一。 高效

    2024年02月12日
    浏览(38)
  • Mysql 简单实现全文检索(FULLTEXT)

    版本支持 MySQL 5.6 以前的版本,只有 MyISAM 存储引擎支持全文索引; MySQL 5.6 及以后的版本,MyISAM 和 InnoDB 存储引擎均支持全文索引; 只有字段的数据类型为 char、varchar、text 及其系列才可以建全文索引。 按顺序操做: 1.修改数据库配置 etc/my.cnf 文件 [mysqld] 下面加入 ngram_token_s

    2024年02月09日
    浏览(44)
  • MySQL使用全文检索实现模糊搜索

    创建全文检索有两种方式 方式一: 方法二: in boolean mode(布尔模式): 可以为检索的字符串增加操作符,且不会像自然语言一样自动拆词查询并集(除非手动空格隔开) 全文检索模糊查询使用全文索引来提高搜索效率,可以快速查询大数据量中的模糊匹配结果。而LIKE模糊查

    2024年02月15日
    浏览(50)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包