大数据量模糊查询优化(流去重,流分批,建树操作)

这篇具有很好参考价值的文章主要介绍了大数据量模糊查询优化(流去重,流分批,建树操作)。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。


前言

有时候会进行大数据量查询后的建树操作,如果直接使用sql语句会大大延缓业务效率,因此需要优化,本文章介绍了使用java8流操作以及hutool树工具栏的建树操作。


一、java8 流是什么

流是支持各种方法的对象序列(一系列对象,列入:LIst对象)

二、本次优化涉及操作

1.流去重

代码如下(示例):

(操作对象).distinct().collect(Collectors.toList());

2.流分批

代码如下(示例):

		//一批500条
		int batchSize = 500;
		//赋值
		List<String> finalSysDistrictParentCodeStringList = sysDistrictParentCodeStringList;
		//对finalSysDistrictParentCodeStringList进行分批处理
		List<List<String>> batches = IntStream.range(0, (finalSysDistrictParentCodeStringList.size() + batchSize - 1) / batchSize)
				.mapToObj(i -> finalSysDistrictParentCodeStringList.subList(i * batchSize, Math.min(finalSysDistrictParentCodeStringList.size(), (i + 1) * batchSize)))
				.collect(Collectors.toList());

3.hutool树工具类建树

代码如下(示例):

		TreeNodeConfig treeNodeConfig = new TreeNodeConfig();
		//设置id字段
		treeNodeConfig.setIdKey("code");
		//设置父级id字段
		treeNodeConfig.setParentIdKey("parentCode");
		List<Tree<String>> trees = TreeUtil.build(result, "0", treeNodeConfig, ((object, treeNode) -> {
			//对树节点进行id赋值
			treeNode.setId(object.getCode());//id
			//对树节点进行父级id赋值
			treeNode.setParentId(object.getParentCode());//父id
			//对树节点进行名称赋值
			treeNode.putExtra("name", object.getName());
			//对树节点进行层级赋值
			treeNode.putExtra("level", object.getLevels());
		}));
		log.info("建树后:{}",trees.size());

4.全部代码

代码如下(示例):

		//实体类


import lombok.Data;
import lombok.EqualsAndHashCode;
import org.apache.commons.lang.StringUtils;
import org.apache.commons.lang.builder.ToStringBuilder;
import org.apache.commons.lang.builder.ToStringStyle;

import java.util.Map;
import java.util.Set;

/**
 * 全国区域Demo
 */
@Data
@ApiModel(value = "全国区域")
public class SysDistrictDemo extends BasePageQuery {

	/**
	 * 编码
	 */
	private String code;
	/**
	 * 名称
	 */
	private String name;
	/**
	 * 父级编号
	 */
	private String parentCode;
	/**
	 * 层级
	 */
	private Integer levels;

}

//整体函数
	public R getTreeByLikeInfoDemo(SysDistrictDemo sysDistrictDemo) {
		QueryWrapper<SysDistrict> wrapper = new QueryWrapper<>();
		wrapper.like("name",sysDistrictDemo.getName());
		List<String> sysDistrictParentCodeStringList = "根据条件模糊查询";
		log.info("去重前:{}",sysDistrictParentCodeStringList.size());
		//至此 取得所有数据 去重
		List<SysDistrictTree> result = new ArrayList<>();
		sysDistrictParentCodeStringList = sysDistrictParentCodeStringList.stream().distinct().collect(Collectors.toList());

		log.info("去重后:{}",sysDistrictParentCodeStringList.size());
		int batchSize = 500;
		List<String> finalSysDistrictParentCodeStringList = sysDistrictParentCodeStringList;

		List<List<String>> batches = IntStream.range(0, (finalSysDistrictParentCodeStringList.size() + batchSize - 1) / batchSize)
				.mapToObj(i -> finalSysDistrictParentCodeStringList.subList(i * batchSize, Math.min(finalSysDistrictParentCodeStringList.size(), (i + 1) * batchSize)))
				.collect(Collectors.toList());
		batches.forEach(codes->{
			result = "使用sql中in的查询操作,例如:select a.id from a in #{codes}"
		});
		log.info("取值后:{}",result.size());
		TreeNodeConfig treeNodeConfig = new TreeNodeConfig();
		//设置id字段
		treeNodeConfig.setIdKey("code");
		//设置父级id字段
		treeNodeConfig.setParentIdKey("parentCode");
		List<Tree<String>> trees = TreeUtil.build(result, "0", treeNodeConfig, ((object, treeNode) -> {
			//对树节点进行id赋值
			treeNode.setId(object.getCode());//id
			//对树节点进行父级id赋值
			treeNode.setParentId(object.getParentCode());//父id
			//对树节点进行名称赋值
			treeNode.putExtra("name", object.getName());
			//对树节点进行层级赋值
			treeNode.putExtra("level", object.getLevels());
		}));
		log.info("建树后:{}",trees.size());
		return R.ok(trees);
	}

总结

自此完成了优化,本人是50s优化至7s,欢迎讨论,勿喷,怕怕文章来源地址https://www.toymoban.com/news/detail-637414.html

到了这里,关于大数据量模糊查询优化(流去重,流分批,建树操作)的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • MySQL中如何高效的实现模糊查询(附30条优化建议)

    在使用msyql进行模糊查询的时候,很自然的会用到like语句,通常情况下,在数据量小的时候,不容易看出查询的效率,但在数据量达到百万级,千万级的时候,查询的效率就很容易显现出来。这个时候查询的效率就显得很重要! 一般情况下like模糊查询的写法为(field已建立索

    2024年01月22日
    浏览(55)
  • 业务数据LEFT JOIN 多表查询慢--优化操作

    首先你会想到,给表加索引,那么mysql会给主键自动建立索引吗? 会的,当然会。 在我们查询的业务表操作的时候,表业务数据庞大起来的时候,以及left join多的时候,甚至多表关联到几十张表的时候,查询是慢到不行。 这时候,只需要给表join查询的字段,及表结构,进行索

    2024年02月02日
    浏览(43)
  • Access数据库模糊查询

    Access数据库模糊查询的方法  在 Access 数据库中,有两种通配符可供使用,分别是\\\"?\\\"和\\\"*\\\"。 \\\"?\\\"表示匹配一个字符。 \\\"*\\\"表示匹配任意多个字符  1例如:如果要查询姓氏以\\\"王\\\"开头的人 2例如:如果要查询姓氏以“王”和“李”开头的人 3例如:如果要查询名字中有“明”的人

    2024年01月17日
    浏览(55)
  • 【MySQL】根据多个字段查询数据进行去重的sql编写

    一、实现思路 根据四个字段进行数据去重的SQL编写可以使用GROUP BY和HAVING子句来实现。 场景一: 假设有一个名为 table1 的数据表,其中包含四个字段: field1 、 field2 、 field3 和 field4 。要求根据这四个字段进行数据去重。 可以使用以下SQL语句: 场景二: 上述SQL语句会返回所

    2024年02月15日
    浏览(56)
  • SQL Server 数据表模糊查询(like 用法)以及查询函数

    在SQL Server Management Studio (SSMS) 中,进行模糊查询主要是通过使用 like 操作符来实现的。 like 操作符用于在 where 语句中搜索列中具有指定模式的数据。 我们在简单例子中来了解: % 通配符:表示任意数量的字符。 这个例子会选择 column_name 列中包含\\\"pattern\\\"这个词的所有记录,就

    2024年01月22日
    浏览(78)
  • Java桌面程序:加载数据-模糊查询-删除-新增

    1.DB.java 2.BaseDao.java 3.两个窗体 完整代码 完整代码 ① 程序一开始执行时,需要加载显示数据: 主窗体中-修改构造器中的代码 ② 定义初始化表格的方法: 主窗体中-完整代码 ③ 点击查询按钮时的操作—模糊查询: 完整代码-在主窗体中编写 ④ 实现删除按钮的功能: 完整代

    2024年02月10日
    浏览(45)
  • ElasticSearch7.3学习(二十二)----Text字段排序、Scroll分批查询场景解析

    场景:数据库中按照某个字段排序,sql只需写order by 字段名即可,如果es对一个 text field 进行排序,es中无法排序。因为文档入倒排索引表时,分词存入,es无法知道此字段的真实值。这样的结果往往不准确,因为分词后是多个单词,再排序就不是我们想要的结果了。 通常有两

    2024年02月08日
    浏览(44)
  • 关于mysql数据库模糊查询的潜在问题

    初学者在学习的时候经常会写下面的模糊查询语句: 有两方面的问题,第一,我们从结果分析入手: 我们想看到的是什么,我们想看到的是蔡徐坤这个字符串能出现在我搜索的第一个位置,而不是我明明搜的蔡徐坤,蔡徐坤却出现在了最后面,前面一堆不太相干的。而之所

    2024年02月13日
    浏览(41)
  • 微信小程序:点击按钮实现数据加载(带模糊查询)

    wxml: 增加按钮 button class=\\\"last\\\" bindtap=\\\"bindMore\\\" wx:if=\\\"{{!allDataLoaded}}\\\"点击获取更多/button js: wxss: 后端thinkphp:

    2024年02月14日
    浏览(45)
  • Elasticsearch - 聚合获取原始数据并分页&排序&模糊查询

    ES版本: 7.6. 需要按照主机ID 进行告警时间的汇总,并且还得把主机相关的信息展示出来。 注: 所有的数据都存在索引中, 通过一个DSL查询展示 实际上就是将terms聚合的结果以列表形式分页展示。 bucket_sort中 from不是pageNum,如想实现pageNum效果,from=pageNum*size即可; terms聚合

    2024年02月05日
    浏览(47)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包