商城项目-es的海量查询/聚合/数据同步

这篇具有很好参考价值的文章主要介绍了商城项目-es的海量查询/聚合/数据同步。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

一.项目搭建

1.sql表
  • 用户数据库:

  • tb_user:用户表,其中包含用户的详细信息

  • tb_address:用户地址表

  • 商品数据库

  • tb_item:商品表

  • 订单数据库

  • tb_order:用户订单表

  • tb_order_detail:订单详情表,主要是订单中包含的商品信息

  • tb_order_logistics:订单物流表,订单的收货人信息

2.模块搭建
  • feign-api:是通用的api模块,一些feign的客户端、实体类、工具类都可以放这里

  • item-service:商品微服务,负责商品的CRUD

  • order-service:订单微服务,负责订单的CRUD

  • search-service:搜索服务,负责es搜索和数据同步

  • user-service:用户微服务,负责用户的CRUD、用户地址的CRUD

项目的pom略...

3.前端

页面分为后台仓库端,和商城首页,代码略,前端部署在了nginx上,nginx的部署配置截图如下

将商品微服务中的分页查询商品接口定义为一个feignclient,放到feign-api模块中,springCloud,es,spring cloud,fegin,Powered by 金山文档

进入cmd窗口启动ngixn,启动成功后,效果如图:

将商品微服务中的分页查询商品接口定义为一个feignclient,放到feign-api模块中,springCloud,es,spring cloud,fegin,Powered by 金山文档
将商品微服务中的分页查询商品接口定义为一个feignclient,放到feign-api模块中,springCloud,es,spring cloud,fegin,Powered by 金山文档
4.启动注册中心

这儿示例的单机模式,没用到集群

将商品微服务中的分页查询商品接口定义为一个feignclient,放到feign-api模块中,springCloud,es,spring cloud,fegin,Powered by 金山文档

5.配网关

链接里是配置网关的模板:http://t.csdn.cn/Un29Z

步骤简单,如果你要借鉴的话,套自己公司模板就行。

二.写项目

由于mysql和es的特性,查询方面,由mysql同步给es,至于删除修改新增都是基于mysql。

将商品微服务中的分页查询商品接口定义为一个feignclient,放到feign-api模块中,springCloud,es,spring cloud,fegin,Powered by 金山文档

因此业务接口包括:

  • 分页查询商品(基于mysql)

  • 根据id查询商品

  • 新增商品

  • 修改商品

  • 根据id删除商品(直接删除,不做逻辑删除)

  • 上架、下架商品

商品表,实体类略,提供给其他微服务的实体类略

把其他都略了,本篇主要讲海量查询的业务实现。


搜索业务

搜索相关业务包括:

  • 设计索引库数据结构

  • 完成数据导入

  • 实现基本搜索功能

  • 实现过滤项聚合功能

  • 数据同步

1.es索引库创建

应该把mysql表中的哪些字段放到ES中?

  1. 搜索时需要的字段 ,商品的标题、分类、品牌、价格

  1. 搜索后需要展示的字段: 图片,销量数、评价数

  1. 隐藏的字段:id、商品的创建时间

基本字段包括:

  • 用于关键字全文检索的字段,比如All,里面包含name、brand、category信息

  • 分类.品牌.价格.销量.idname.评价.数量.图片

PUT /item
{
  "mappings": {
    "properties": {
      "id":{
        "type": "long"
      },
      "name":{
        "type": "text",
        "analyzer": "ik_max_word",
        "copy_to": "all"
      },
       "price":{
        "type": "long"
      },
       "image":{
          "type": "keyword"
      },
       "category":{
        "type": "keyword",
        "copy_to": "all"
      },
      "brand":{
            "type": "keyword",
            "copy_to": "all"
      },
      "sold":{
            "type": "integer"
      },
      "commentCount":{
            "type": "integer"
      },
      "isAD":{
            "type": "boolean"
      },
      "all":{
        "type": "text",
        "analyzer": "ik_max_word",
        "search_analyzer": "ik_smart"
      }
    }
  }
}

设计文档对应的Java类:ItemDoc

@Data
@NoArgsConstructor
public class ItemDoc {
    private Long id;
    private String name;
    private Long price;
    private String image;
    private String category;
    private String brand;
    private Integer sold;
    private Integer commentCount;
    private Boolean isAD;

    public ItemDoc(Item item) {
        // 属性拷贝
        BeanUtils.copyProperties(item, this);
    }
}
2.海量数据导入es

要把数据库数据导入到elasticsearch中,包括下面几步:

将商品微服务中的分页查询商品接口定义为一个FeignClient,放到feign-api模块中

搜索服务编写一个业务,实现下面功能:

调用item-service提供的FeignClient,分页查询商品 PageDTO<Item>

将查询到的商品封装为一个ItemDoc对象,放入ItemDoc集合

将ItemDoc集合批量导入elasticsearch中

注意:数据库数据比较多,一下导入内存会炸裂哈哈哈,所以分页导入,一下三千条自设定。

1.//fegin里的分页查询接口
@FeignClient("itemservice")    
public interface ItemClient {

    // 查询商品数据
    @GetMapping("/item/list")
    public PageDTO<Item> list(
            @RequestParam(value = "page", defaultValue = "1") Integer pageNum,
            @RequestParam(value = "size", defaultValue = "5") Integer pageSize);
}
2.
@Data
@NoArgsConstructor
@AllArgsConstructor
public class PageDTO<T> {
    /**
     * 总条数
     */
    private Long total;
    /**
     * 当前页数据
     */
    private List<T> list;
}
3.
@Data
public class Item {
    private Long id;//商品id
    private String name;//商品名称
    private Long price;//价格(分)
    private Integer stock;//库存数量
    private String image;//商品图片
    private String category;//分类名称
    private String brand;//品牌名称
    private String spec;//规格
    private Integer sold;//销量
    private Integer commentCount;//评论数
    private Integer status;//商品状态 1-正常,2-下架
    private Boolean isAD;// 是否是广告

}
@SpringBootTest
public class ESTest {

    @Autowired
    private ItemClient itemClient;

    @Autowired
    private RestHighLevelClient client;

    @Test
    public void test() throws Exception {
        Integer pageNum = 1;

        // 循环
        while (true) {
            // 查询3000条
            PageDTO<Item> page = itemClient.list(pageNum, 3000);
            List<Item> list = page.getList();
            // 跳出循环
            if (list.size() < 1) {
                break;
            }
            // 将数据同步到索引库
            // 1.创建request
            BulkRequest request = new BulkRequest();
            // 2.准备DSL
            for (Item item : list) {
                // 2-1 转为es实体
                ItemDoc itemDoc = new ItemDoc(item);
                // 2-2 转为json
                String json = JSON.toJSONString(itemDoc);
                // 2-3 新增文档
                request.add(new IndexRequest("item")
                        .id(itemDoc.getId().toString())
                        .source(json, XContentType.JSON));

            }
            // 3.发送请求
            client.bulk(request, RequestOptions.DEFAULT);
            // 页码++
            pageNum++;
        }

    }
}
将商品微服务中的分页查询商品接口定义为一个feignclient,放到feign-api模块中,springCloud,es,spring cloud,fegin,Powered by 金山文档
3.实现基本搜索功能
将商品微服务中的分页查询商品接口定义为一个feignclient,放到feign-api模块中,springCloud,es,spring cloud,fegin,Powered by 金山文档
@RestController
@RequestMapping("/search")
public class SearchController {

    @Autowired
    private SearchService searchService;

    // 分页条件查询
    @PostMapping("/list")
    public PageDTO<ItemDoc> search(@RequestBody RequestParams params) throws IOException {
        return searchService.search(params);
    }
@Service
public class SearchService {

    @Autowired
    private RestHighLevelClient client;

    // 分页条件查询
    public PageDTO<ItemDoc> search(RequestParams params) throws IOException {
        // 1.创建request
        SearchRequest request = new SearchRequest("item");
        // 2.准备DSL
        // 2-1 query
        buildBasicQuery(params, request);
        // 2-2 分页
        Integer page = params.getPage();
        Integer size = params.getSize();
        request.source().from((page-1)*size).size(size);
        // 2-3 高亮
        request.source().highlighter(new HighlightBuilder().field("name").requireFieldMatch(false));
        // 3.发送请求
        SearchResponse response = client.search(request, RequestOptions.DEFAULT);
        // 4.解析响应
        return handleResponse(response);
    }


    // 抽取查询条件代码
    private void buildBasicQuery(RequestParams params, SearchRequest request) {
        String key = params.getKey();
        BoolQueryBuilder boolQuery = QueryBuilders.boolQuery();
        if (StrUtil.isEmpty(key)) {
            boolQuery.must(QueryBuilders.matchAllQuery());
        }else{
            boolQuery.must(QueryBuilders.matchQuery("all", key));
        }
        // 品牌
        if (StrUtil.isNotEmpty(params.getBrand())) {
            boolQuery.filter(QueryBuilders.termQuery("brand", params.getBrand()));
        }
        // 分类
        if (StrUtil.isNotEmpty(params.getCategory())) {
            boolQuery.filter(QueryBuilders.termQuery("category", params.getCategory()));
        }
        // 价格
        if (params.getMinPrice() != null && params.getMaxPrice() != null) {
            boolQuery.filter(QueryBuilders.rangeQuery("price").gte(params.getMinPrice()*100).lte(params.getMaxPrice()*100));
        }

        request.source().query(boolQuery);
    }

    private PageDTO<ItemDoc> handleResponse(SearchResponse response) {
        // 4.解析响应
        SearchHits searchHits = response.getHits();
        // 4.1 获取总记录数
        long total = searchHits.getTotalHits().value;
        // 4.2 获取文档数组
        List<ItemDoc> items = new ArrayList<>();
        SearchHit[] hits = searchHits.getHits();
        for (SearchHit hit : hits) {
            // 获取文档source
            String json = hit.getSourceAsString();
            ItemDoc hotelDoc = JSON.parseObject(json, ItemDoc.class);
            // 处理高亮
            Map<String, HighlightField> highlightFields = hit.getHighlightFields();
            if (CollectionUtil.isNotEmpty(highlightFields)) {
                HighlightField highlightField = highlightFields.get("name");
                if (highlightField!=null) {
                    String name = highlightField.getFragments()[0].string();
                    hotelDoc.setName(name);
                }
            }
            items.add(hotelDoc);
        }
        return new PageDTO<>(total,items);
    }
4.过滤聚合功能
将商品微服务中的分页查询商品接口定义为一个feignclient,放到feign-api模块中,springCloud,es,spring cloud,fegin,Powered by 金山文档
@RestController
@RequestMapping("/search")
public class SearchController {

    @Autowired
    private SearchService searchService;

    // 分页条件查询
    @PostMapping("/list")
    public PageDTO<ItemDoc> search(@RequestBody RequestParams params) throws IOException {
        return searchService.search(params);
    }

    // 聚合查询
    @PostMapping("/filters")
    public Map<String, List<String>> filters(@RequestBody RequestParams params) throws IOException{
        return searchService.filters(params);
    }
}
// 聚合查询
    public Map<String, List<String>> filters(RequestParams params) throws IOException {
        // 1.创建request
        SearchRequest request = new SearchRequest("item");
        // 2.准备DSL参数
        // 2-1 query
        buildBasicQuery(params, request);
        // 2-2 设置size
        request.source().size(0);
        // 2-3 聚合
        request.source().aggregation(AggregationBuilders.terms("brandAgg").field("brand").size(20));
        request.source().aggregation(AggregationBuilders.terms("categoryAgg").field("category").size(20));
        // 3.发出请求
        SearchResponse response = client.search(request, RequestOptions.DEFAULT);
        // 4.解析响应
        Map<String, List<String>> result = new HashMap<>();
        Aggregations aggregations = response.getAggregations();
        // 4-1 根据品牌名称
        List<String> brandAgg = getAggByName(aggregations, "brandAgg");
        result.put("brand", brandAgg);
        // 4-2 根据分类名称
        List<String> cityAgg = getAggByName(aggregations, "categoryAgg");
        result.put("category", cityAgg);

        return result;
    }

 private List<String> getAggByName(Aggregations aggregations, String aggName) {
        // 根据名称获取聚合结果
        Terms terms = aggregations.get(aggName);
        // 获取bucktes
        List<? extends Terms.Bucket> buckets = terms.getBuckets();
        // 遍历
        List<String> list = new ArrayList<>();
        for (Terms.Bucket bucket : buckets) {
            // 获取聚合名称(key)
            String key = bucket.getKeyAsString();
            // 添加集合
            list.add(key);
        }
        // 返回
        return list;
    }

数据同步

基于RabbitMQ实现数据库、elasticsearch的数据同步,要求如下:

  • 商品上架时:search-service新增商品到elasticsearch

  • 商品下架时:search-service删除elasticsearch中的商品

将商品微服务中的分页查询商品接口定义为一个feignclient,放到feign-api模块中,springCloud,es,spring cloud,fegin,Powered by 金山文档
1)启动MQ docker 容器命令启动MQ的镜像
2)item-service和search-service设置连接MQ坐标和配置文件

坐标配置复制模板见此链接:http://t.csdn.cn/YQAwY

将商品微服务中的分页查询商品接口定义为一个feignclient,放到feign-api模块中,springCloud,es,spring cloud,fegin,Powered by 金山文档
将商品微服务中的分页查询商品接口定义为一个feignclient,放到feign-api模块中,springCloud,es,spring cloud,fegin,Powered by 金山文档
3)创建交换机和队列实现绑定

消费者或者生产者都可以创建交换机。记得交给spring管理就行。

@Configuration
public class MQConfig {

    // 创建交换机
    @Bean
    public DirectExchange itemDirect() {
        return new DirectExchange("item.direct");
    }

    // 上架队列
    @Bean
    public Queue upQueue() {
        return new Queue("up.queue");
    }

    // 下架队列
    @Bean
    public Queue downQueue() {
        return new Queue("down.queue");
    }

    // 上架队列绑定交换机
    @Bean
    public Binding bindingUpQueue(DirectExchange itemDirect,Queue upQueue){
        return BindingBuilder.bind(upQueue).to(itemDirect).with("item.up");
    }

    // 下架队列绑定交换机
    @Bean
    public Binding bindingDownQueue(DirectExchange itemDirect,Queue downQueue){
        return BindingBuilder.bind(downQueue).to(itemDirect).with("item.down");
    }

}
4)item-service发送消息
@Autowired
    private RabbitTemplate rabbitTemplate;

    // 上下架
    @PutMapping("/status/{id}/{status}")
    public void updateStataus(
            @PathVariable("id") Long id,
            @PathVariable("status") Integer status) {
        // update tb_item set status = ? where id = ?;

      

        // 在mp通用service中支持链式编程 (修改局部字段)
        itemService.update().set("status", status).eq("id", id).update();

        // 发送MQ消息
        if (status==1) {
            // 上架
            rabbitTemplate.convertAndSend("item.direct","item.up",id);
        }else{
            // 下架
            rabbitTemplate.convertAndSend("item.direct","item.down",id);
        }

    }
5)search-service监听消息
@Slf4j
@Component
public class ItemListener {

    @Autowired
    private ItemClient itemClient;

    @Autowired
    private RestHighLevelClient client;

    // 监听上架
    @RabbitListener(queues = "up.queue")
    public void listenUpQueue(Long id) {
        try {
            log.info("上架:{}", id);
            // 查询数据库
            Item item = itemClient.findById(id);
            // 转为es实体
            ItemDoc itemDoc = new ItemDoc(item);
            // 转为json
            String json = JSON.toJSONString(itemDoc);

            // 保存到索引库
            // 1.创建request
            IndexRequest request = new IndexRequest("item").id(id.toString());
            // 2.准备DSL
            request.source(json, XContentType.JSON);
            // 3.发送请求
            client.index(request, RequestOptions.DEFAULT);
        } catch (IOException e) {
            throw new RuntimeException(e);
        }
    }

    // 监听下架
    @RabbitListener(queues = "down.queue")
    public void listenDownQueue(Long id) {
        log.info("下架:{}", id);
        try {
            // 1.创建request
            DeleteRequest request = new DeleteRequest("item", id.toString());
            // 2.发送请求
            client.delete(request,RequestOptions.DEFAULT);
        } catch (IOException e) {
            throw new RuntimeException(e);
        }
    }
}
6)编写fegin中间件里ItemClient实现根据id查询商品对象
@FeignClient("itemservice")
public interface ItemClient {

    // 查询商品数据
    @GetMapping("/item/list")
    public PageDTO<Item> list(
            @RequestParam(value = "page", defaultValue = "1") Integer pageNum,
            @RequestParam(value = "size", defaultValue = "5") Integer pageSize);

    // 根据id查询
    @GetMapping("/item/{id}")
    public Item findById(@PathVariable("id") Long id);
}

完成索引库代码同步

ok了,写完了文章来源地址https://www.toymoban.com/news/detail-810016.html

到了这里,关于商城项目-es的海量查询/聚合/数据同步的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 商城-学习整理-高级-商城业务-商品上架es(十)

    只有上架的商品才可以在前台展示,不上架的在后台管理系统。上架就是放到ES中。 1、商品 Mapping 分析:商品上架在 es 中是存 sku 还是 spu? 1)、检索的时候输入名字,是需要按照 sku 的 title 进行全文检索的 2)、检索使用商品规格,规格是 spu 的公共属性,每个 spu 是一样的

    2024年02月12日
    浏览(50)
  • [golang gin框架] 26.Gin 商城项目-前台自定义商品列表模板, 商品详情数据渲染,Markdown语法使用

    当在首页分类点击进入分类商品列表页面时,可以根据后台分类中的分类模板跳转到对应的模板商品列表页面 (1).商品控制器方法Category()完善 修改controllers/frontend/productController.go中的方法Category(), 判断分类模板,如果后台没有设置,则使用默认模板 (2).模板页面案例 先来回顾一

    2024年02月01日
    浏览(55)
  • 【ElasticSearch】深入探索 ElasticSearch 对数据的聚合、查询自动补全、与数据库间的同步问题以及使用 RabbitMQ 实现与数据库间的同步

    在本文中,我们将深入探讨 ElasticSearch 在数据处理中的关键功能,包括数据聚合、查询自动补全以及与数据库的同步问题。 首先,我们将聚焦于 ElasticSearch 强大的聚合功能,解释什么是聚合以及如何通过 DSL 语句和 RestClient 实现各种聚合操作。这一功能能够让我们更深入地了

    2024年02月08日
    浏览(57)
  • ES中使用 Top Hits 查询分桶聚合结果的每个桶的详细数据

    Top hits(顶部命中)是一个聚合功能,用于在查询结果中返回每个桶(bucket)中的顶部 N 个文档。这对于需要在聚合结果中查看每个桶中的最相关或最高评分文档的情况非常有用。 简单来说,Top Hits 就是对聚合结果中相关文档的详细展示,它不同于 Post Filter,Post Filter 是基于

    2024年02月07日
    浏览(35)
  • 拼多多海量商品数据接口API 商品详情接口 商品价格主图接口

    拼多多,作为中国最大的社交电商之一,提供了丰富的商品信息和海量的用户数据。对于广大开发者而言,如何快速、准确地获取这些数据,进而开发出各种创新应用,是他们关心的问题。本文将详细介绍拼多多海量商品数据接口API的使用方法和相关注意事项,帮助开发者更

    2024年02月10日
    浏览(57)
  • 谷粒商城笔记+踩坑(9)——上架商品spu到ES索引库

    导航: 谷粒商城笔记+踩坑汇总篇 目录 1、ES回顾 2、ES整合商品上架  2.1、分析 2.2、创建sku的es索引库 2.2.1、两种索引库设计方案分析 2.2.2、最终选用的索引库方案,nested类型 2.3、SkuEsModel模型类 2.4、【库存模块】库存量查询 2.5、【查询模块】保存ES文档 2.5.1、常量类 2.5.2、

    2024年02月05日
    浏览(52)
  • 原生语言操作和spring data中RestHighLevelClient操作Elasticsearch,索引,文档的基本操作,es的高级查询.查询结果处理. 数据聚合.相关性系数打分

    ​ Elasticsearch 是一个分布式、高扩展、高实时的搜索与数据分析引擎。它能很方便的使大量数据具有搜索、分析和探索的能力。充分利用Elasticsearch的水平伸缩性,能使数据在生产环境变得更有价值。Elasticsearch 的实现原理主要分为以下几个步骤,首先用户将数据提交到Elasti

    2024年02月05日
    浏览(87)
  • 探秘淘宝店铺所有商品API接口:一键获取海量数据,引领电商数据革命

    一、概述 淘宝店铺所有商品API接口是淘宝开放平台提供的一套应用程序接口,允许第三方开发者获取淘宝店铺中的所有商品信息。通过使用这个接口,开发者可以获取到店铺中所有商品的详细信息,包括商品ID、标题、描述、价格、库存等,从而进行深度分析和挖掘,进一步

    2024年01月20日
    浏览(45)
  • ES 聚合分组查询 语法

    ES 聚合分组查询的语法如下: 其中 index 是索引名称, size 设置为 0 意味着只返回聚合结果而不返回文档。 aggs 字段是聚合查询的核心部分,这里以 group_by_field 为例进行分组查询,其中 terms 指定了分组的字段名称。 这样的查询会返回按照 field_name 字段进行分组后每个分组的

    2024年02月11日
    浏览(39)
  • ES-聚合查询

    1. 概念 聚合(aggs)不同于普通查询,是目前学到的第二种大的查询分类,第一种即“query”,因此在代码中的第一层嵌套由“query”变为了“aggs”。用于进行聚合的字段必须是exact value,分词字段不可进行聚合,对于text字段如果需要使用聚合,需要开启fielddata,但是通常不建

    2023年04月25日
    浏览(45)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包