lazarus开发:提升sqlite数据插入速度

这篇具有很好参考价值的文章主要介绍了lazarus开发:提升sqlite数据插入速度。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

目录

1 前言

2 优化数据容器

3 开启事务插入数据

4 其他方面优化


1 前言

近期有一个需求是向数据库中插入excel文件中的10万多条数据,接近70个字段。最初整个插入数据时间是大约40分钟,经过优化调整后,大幅优化为大约5分钟。这里简单介绍一下采取的措施。

2 优化数据容器

这里的数据容器是指,数据从外部读入后,插入数据库之前,暂时存放在什么地方。原来是以com方式调用excel程序,打开excel文件,读取数据到stringGrid中。这种方式速度慢,容易出错。现在改用fpsDataset读取excel数据,数据直接保存在数据集中。后面执行数据显示和插入数据到数据库中,直接操作这个数据集就可以了,非常快速高效。

前面介绍过这个fpSpreadSheet这个神器,操作电子表格太方便了。

    wsDataset := TsWorksheetDataset.create(self);
    wsDataset.FileName := UTF8ToSys(fn); // fn是excel文件名
    wsDataset.Open; 

3 开启事务插入数据

开启事务方式后,插入数据效率有数十倍的提升!lazarus操作sqlite数据库,使用事务的语法如下:

  DM.SQLTransaction1.EndTransaction;
  DM.SQLTransaction1.StartTransaction;  

  循环开始
  。。。。。。

      sql := 。。。。。。

      try
        DM.SQLite3Conn.ExecuteDirect(sql);
      except
        on E: Exception do
        begin
          showmessage('出错了7: ' + E.ClassName + '/' + E.Message);
          memo1.append(ansiToUtf8(sql));
          memo1.append('插入记录失败,sql语句:');
          dm.SQLTransaction1.RollBack;
          exit;
        end;
      end;   

  。。。。。。
  循环结束

  DM.SQLTransaction1.Commit;

4 其他方面优化

如果数据量特别大,就不需要在程序界面全部显示所有数据,那样太浪费时间,可以只显示100行或者1000行数据。

lazarus开发:提升sqlite数据插入速度,Lazarus,lazarus,sqlite,事务文章来源地址https://www.toymoban.com/news/detail-735211.html

到了这里,关于lazarus开发:提升sqlite数据插入速度的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 通付盾Web3专题 | SharkTeam:起底朝鲜APT组织Lazarus Group,攻击手法及洗钱模式

    国家级APT(Advanced Persistent Threat,高级持续性威胁)组织是有国家背景支持的顶尖黑客团伙,专门针对特定目标进行长期的持续性网络攻击。朝鲜APT组织Lazarus Group就是非常活跃的一个APT团伙,其攻击目的主要以窃取资金为主,堪称全球金融机构的最大威胁,近年来多起加密货

    2024年02月02日
    浏览(51)
  • sqlite3 插入数据

    最近有项目在用sqlite3,这个嵌入式数据库,不是很熟练,连个插入数据的语句都得百度哈哈。 记录下,加深记忆,给同样小白的人看的,大牛没必要在这耽误时间。 我的需求是; 有个edgemgmt3.db的文件,需要插入条数据。 1.进入sqlite终端 进入SQLite3命令行工具。在终端中输入

    2024年02月16日
    浏览(40)
  • 使用 Python 字典向 SQLite 插入数据

    将Python字典数据插入SQLite数据库中其实有很多好处,例如使用字典的结构可以简化插入数据的代码,使其更加紧凑和易于理解。这降低了代码的复杂性,并使代码更易于维护。那么在我们日常使用中会有哪些问题呢?一起看看我是如何解决的吧。 问题背景 我正在使用 Python

    2024年03月12日
    浏览(78)
  • 奥威BI系统:零编程建模、开发报表,提升决策速度

    奥威BI是一款非常实用的、易用、高效的商业智能工具,可以帮助企业快速获取数据、分析数据、展示数据。值得特别注意的一点是奥威BI系统支持零编程建模、开发报表,是一款人人都能用的大数据分析系统,有助于全面提升企业的数据分析挖掘效率,从而提高企业决策速度

    2024年02月14日
    浏览(54)
  • Linux系统下SQLite创建数据库, 建表, 插入数据保姆级教程

    1,创建数据库: sqlite test.db  我这边是sqlite2版本, 直接使用命令sqlite test.db创建一个名称为test的数据库; test是你自定义是数据库名 , 创建好数据库后, 接下来开始创建表格 2.创建表格, 就是常规的sql建表语句 CREATE TABLE  ids_logs ( english_details TEXT, chinese_details TEXT, event_definition TEXT

    2024年02月08日
    浏览(60)
  • mysql不同隔离级别事务插入数据

    面试中问到了相关问题,做下问题记录 问题是这样的,数据库默认隔离级别下,事务A插入一条数据,没有提交,事务B插入一条数据,提交,表id为自增,如果表是空表,事务A和事务B的id分别是多少。 2.1.1 打开一个mysql窗口,事务A 执行代码块 2.1.2 打开另一个窗口,事务B 执

    2024年02月11日
    浏览(47)
  • 优化WordPress数据库提升网站运行速度

    WordPress的文章、评论等很多数据都是存放在数据库的,所以搭建wordpress网站的时间,网站的空间不需要多大,而数据库一定要充足,而在WordPress数据库中主要使用 wp_posts 表来存储日志,页面,附件,导航菜单等数据,根据使用的时间越来越长,堆积的数据越来越多,从而运行

    2023年04月23日
    浏览(35)
  • 【数据库】Python脚本实现数据库批量插入事务

    在工作中可能会遇到需要批量插入的场景, 而批量插入的过程具有 耗时长 的特点, 再此过程很容易出现程序崩溃的情况.为了解决插入大量数据插入后崩溃导致 已插入数据无法清理 及 未插入数据无法筛出 的问题, 需要编写一个脚本记录已插入和未插入的数据, 并可以根据记录

    2024年02月08日
    浏览(46)
  • python中四种方法提升数据处理的速度

    在数据科学计算、机器学习、以及深度学习领域,Python 是最受欢迎的语言。Python 在数据科学领域,有非常丰富的包可以选择,numpy、scipy、pandas、scikit-learn、matplotlib。 但这些库都仅仅受限于单机运算,当数据量很大时,比如50GB甚至500GB的数据集,这些库的处理能力都显得捉

    2024年02月05日
    浏览(40)
  • 事务方法中保证数据只插入一次方案探究

    在项目的接口请求中,我们有一个接口A需要事务支持,在接口A中调用了方法B,方法B也需要事务支持,两者都带有 @Transactional 注解。在B方法中是这个一个逻辑,查询本地数据库是否包含属性值为一个特定值的字段,如果没有的话就插入,如果有的话就跳过。 首先最简单的方

    2024年02月10日
    浏览(30)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包