.NET使用EF批量插入数据,一行代码性能飙升!

这篇具有很好参考价值的文章主要介绍了.NET使用EF批量插入数据,一行代码性能飙升!。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

背景

小编最近接到一个任务,批量获取内部网站用TXT生成的日志,在闲时把日志插入到MySql数据库做分析。为了快速开发小编选择了Entity Framework Core,很快开发完成了。测试数据不是很多,批量插入数据很快完成,效率很高。但是部署到线上问题来了,最开始也挺快,越到后面越慢,慢的无法接受。于是查询了一下官网和某度,只需加一句代码就可以让EF批量插入数据飙升。

代码示例

开始的批量添加代码:

public async void AddRangeAsync(List<T> entities)
{
    await _dbContext.AddRangeAsync(entities);
    await _dbContext.SaveChangesAsync();
}

在以上方法增加一行,如下:

public async void AddRangeAsync(List<T> entities)
{
    //批量添加需要将AutoDetectChangesEnabled给位false
    _dbContext.ChangeTracker.AutoDetectChangesEnabled = false;
    await _dbContext.AddRangeAsync(entities);
    await _dbContext.SaveChangesAsync();
}

原理

微软的解释:“AutoDetectChangesEnabled默认值为 true。这可确保上下文在执行操作(例如 SaveChanges() 或返回更改跟踪信息)之前了解对跟踪实体实例所做的任何更改。如果禁用自动检测更改, DetectChanges() 则必须确保在修改实体实例时调用 。如果不这样做,可能会导致某些更改在返回或返回过时的更改跟踪信息期间 SaveChanges() 无法持久保存”[1]

这是啥意思呢?ChangeTracker的AutoDetectChangesEnabled属性是Entity Framework中的一个属性,用于控制是否自动检测实体的更改。默认情况下,AutoDetectChangesEnabled属性的值为true,即自动检测更改。每次对实体进行更改(添加、删除、更新)时,Entity Framework会自动检测这些更改,并将其标记为“已更改”。这样,在调用SaveChanges方法时,Entity Framework会自动将这些更改应用到数据库中。

当AutoDetectChangesEnabled属性的值为true时,将对EF的性能造成一定的影响,尤其是批量插入数据。对于插入操作,无论AutoDetectChangesEnabled的值为true还是false,都可以成功插入数据。因为插入操作本身就是一种新增操作,无需进行实体的更改检测。所以在批量插入时,建议把AutoDetectChangesEnabled设置为false。

设置为false具体对操作的数据有没有影响呢?答案是肯定的,分情况。如果插入数据后有上下文操作,那么上下文不会自动更新实体的状态,如果没有后续操作可以忽略。这就需要手动调用DetectChanges方法或将实体状态设置为“已更改”才能使上下文与数据库同步。建议批量插入数据结束时,把AutoDetectChangesEnabled的值改为true。

**结语
**

本文讲述了.NET用EF批量插入数据,改进性能的简单方法。当然还有很多方法,比如可以使用EF批量添加扩展,可以在EF中执行SQL插入语句,还可以用EF执行存储过程的方式批量添加(SQL Server实验过,MySql未实验)等,大家还有啥好方法可以留言。日志分析建议大家用mangodb或者ES等数据库,本案例只是临时数据分析。希望本文对你有所收获,欢迎留言或者吐槽。

参考资料

[1] https://learn.microsoft.com/zh-cn/dotnet/api/microsoft.entityframeworkcore.changetracking.changetracker.autodetectchangesenabled?view=efcore-7.0#microsoft-entityframeworkcore-changetracking-changetracker-autodetectchangesenabled文章来源地址https://www.toymoban.com/news/detail-540985.html


来源公众号:DotNet开发跳槽

到了这里,关于.NET使用EF批量插入数据,一行代码性能飙升!的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • Net Core中使用EF Core连接Mysql数据库

    Entity Framework Core的前身是微软提供并主推的ORM框架,简称EF,其底层是对ADO.NET的封装。EF支持SQLServer、MYSQL、Oracle、Sqlite等所有主流数据库。 首先是使用时的几个模式的整理及其理解: Code First:根据代码自动创建数据库表结构甚至是数据库,可以支持多库开发,代码较少冗余

    2024年01月24日
    浏览(52)
  • Pandas:如何让你的代码性能飙升

    在数据分析相关的工作中, Pandas 无疑是一个强大的工具,它的易用性和灵活性广受青睐。 然而,随着数据量的不断增长和计算需求的日益复杂, Pandas 代码的性能问题也逐渐浮出水面。 如何让 Pandas 代码运行得更快、更高效,成为了每一个人使用者都需要面对的挑战。 今天

    2024年03月18日
    浏览(60)
  • 使用saveOrUpdateBatch实现批量插入更新数据

    saveOrUpdateBatch 是 Hibernate 中的一个方法,可以用来批量插入或更新数据。这个方法的参数是一个 List,里面可以存储多个实体对象。当 Hibernate 执行这个方法时,会检查每个实体对象是否存在主键,如果存在主键就执行 update 操作,否则执行 insert 操作。 使用 saveOrUpdateBatch 的代

    2024年02月11日
    浏览(74)
  • Mybatis批量插入/更新性能优化思路

            最近在做数据写入服务的性能优化,主要是基于Mybatis-Plus实现一套批量写数据的服务,不过该服务是支持整个平台所有需要持久化的业务实体。所以这种服务不仅仅有insert操作还有update的操作。根据以往的MySQL数据库写入经验,主要总结了两套批量插入、批量插入

    2024年04月25日
    浏览(42)
  • MySQL---使用索引优化、大批量插入数据优化

    1. 使用索引优化 索引是数据库优化最常用也是最重要的手段之一 , 通过索引通常可以帮助用户解决大多数的 MySQL 的性能优化问题: 1.1 避免索引失效应用-全值匹配 该情况下,索引生效,执行效率高。 1.2 避免索引失效应用-最左前缀法则 1.3 避免索引失效应用-其他匹配原则

    2024年02月07日
    浏览(53)
  • 性能优化实践:一行代码性能提升几十倍?

    Part1 问题背景 在一般的互联网公司,大家都非常忙碌。活儿是永远干不完的。这时候,我建议先做重要的事情。试想:一个人永远都在做「紧急不重要」的事情,他的产出必然是非常低的。这就是为什么「重要不紧急」在第二象限,仅仅排在「重要且紧急」后面。 所以对于

    2024年04月28日
    浏览(39)
  • .net core 创建WebAPI以及使用EF DBFirst框架使用方法与疑问解答(.net 6)

    EF语法包: 生成实体模型: 修改实体模型: 把生成的实体和上下文都输出到某个文件夹命令 增加JSON格式脚手架: 若想增加某个版本json脚手架,需要加入后缀如: 问题与解决方案: 1、问题: Your startup project \\\'XXX\\\' doesn\\\'t reference Microsoft.EntityFrameworkCore.Design. This package is requi

    2024年02月16日
    浏览(49)
  • ASP.NET中使用Entity Framework(EF)关联表查询

    在ASP.NET中使用Entity Framework(EF)进行关联表查询的具体步骤如下: 配置数据库上下文(DbContext):在 DbContext 派生类中,使用 DbSetT 属性表示每个实体对应的数据库表。确保每个实体类和关系都正确映射到数据库表。 定义关联表之间的导航属性:在实体类中,使用导航属性表

    2024年02月14日
    浏览(52)
  • .net 6 EF Core MySql数据库表生成实体类命令

    安装下面这几个包 Microsoft.EntityFrameworkCore Microsoft.EntityFrameworkCore.Tools Microsoft.EntityFrameworkCore.Design Pomelo.EntityFrameworkCore.MySql Scaffold-DbContext “server=127.0.0.1;port=3306;database=DB;uid=root;pwd=pwdpwd;sslmode=none;” Pomelo.EntityFrameworkCore.MySql -OutputDir Models -Force -NoOnConfiguring -NoPluralize -Context “D

    2024年02月05日
    浏览(46)
  • .NET6 + EF Core + MySQL 创建实体和数据库、EFCore 数据迁移

    接上期文章《.NET6项目连接数据库方式方法》,有人问了我几个问题,现在就这几个问题,拓展延申一下创建实体类、数据库。把ORM框架和数据迁移都写进去。 我的项目是在Linux上创建的,使用的是vscode开发工具远程开发。为了方便大家阅读和操作,我将项目down到我的本地电

    2024年02月05日
    浏览(51)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包