openpyxl被干掉?全新python高性能excel解析库

这篇具有很好参考价值的文章主要介绍了openpyxl被干掉?全新python高性能excel解析库。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

同事有一段 python 脚本,里面用 pandas 读取一个几十万行的 excel 文件,但是速度实在太慢了。问我有没有什么好办法提升运行速度。如果在几个月以前,就实在没有什么好办法了。毕竟在 python 生态中,读写 excel 最后的倔强就是 openpyxl 了。你就别指望它能提速了。

现在可不一样了。马上升级你的 pandas 版本,因为在 pandas 2.2 版本,开始引入一个全新的 excel 解析引擎库,它不仅仅性能吊打 openpyxl ,并且同时支持一众 excel 格式( xls , xlsx , xlsm , xlsb , xla , xlam )

这就是 calamine 库,如果你到 github 上查看,会看到其实它是一个 rust 的库:openpyxl被干掉?全新python高性能excel解析库,python,excel,开发语言

看看 calamine 官方的性能对比:openpyxl被干掉?全新python高性能excel解析库,python,excel,开发语言

calamine 是 openpyxl 的 10 倍。

好消息是,python 也有对应的接口库:openpyxl被干掉?全新python高性能excel解析库,python,excel,开发语言

更好的消息是,pandas 在 2.2 版本开始,悄悄支持了 calamine 。为什么说"悄悄"?因为智能提示都没有提示出来:openpyxl被干掉?全新python高性能excel解析库,python,excel,开发语言

并且 to excel 还不能使用它。不过,pandas 在即将到来的 3.0 版本,正式支持 calamine。

今天,我们先亲自下场尝试一下。


加载一份 800 多万行的 feather 文件:openpyxl被干掉?全新python高性能excel解析库,python,excel,开发语言

自然不可能全部塞到 excel 里面,就取前 50 万行吧:openpyxl被干掉?全新python高性能excel解析库,python,excel,开发语言

由于 to excel 仍然使用 openpyxl ,速度可想而知,用了差不多2分钟。

现在看看使用 calamine 引擎,加载到 dataframe 要多久:openpyxl被干掉?全新python高性能excel解析库,python,excel,开发语言

9.4 秒,还是比 feather 文件的 2.5 秒慢多了。不过有相关经验的小伙伴应该知道,加载一个50 万行的 excel,只要差不多10秒,已经是谢天谢地了。

看看 openpyxl 的速度,你能感受到什么是绝望:openpyxl被干掉?全新python高性能excel解析库,python,excel,开发语言

白白多出1分钟

点击下方安全链接前往获取

CSDN大礼包:《Python入门&进阶学习资源包》免费分享

👉Python实战案例👈

光学理论是没用的,要学会跟着一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。

openpyxl被干掉?全新python高性能excel解析库,python,excel,开发语言

openpyxl被干掉?全新python高性能excel解析库,python,excel,开发语言

👉Python书籍和视频合集👈

观看零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。

openpyxl被干掉?全新python高性能excel解析库,python,excel,开发语言

👉Python副业创收路线👈

openpyxl被干掉?全新python高性能excel解析库,python,excel,开发语言

这些资料都是非常不错的,朋友们如果有需要《Python学习路线&学习资料》,点击下方安全链接前往获取

CSDN大礼包:《Python入门&进阶学习资源包》免费分享

本文转自网络,如有侵权,请联系删除。文章来源地址https://www.toymoban.com/news/detail-836254.html

到了这里,关于openpyxl被干掉?全新python高性能excel解析库的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包赞助服务器费用

相关文章

  • 高性能计算的矩阵乘法优化 - Python + OpenMP实现

    高性能计算的矩阵乘法优化 - Python + OpenMP实现

    关于上一节读者某些疑问 :为什么你用进程并行不是线程并行? 回答 :由于Python解释器有GIL(全局解释器锁),在单进程的解释器上有线程安全锁,也就是说每次只能一个线程访问解释器,因此Python在语法上的多线程(multithreads)实现是不会提高并行性能的。 这一点和C

    2024年02月15日
    浏览(13)
  • 高性能计算的矩阵乘法优化 - Python +MPI的实现

    本次实验的目的是使用MPI的并行性来进行矩阵乘法优化,本人使用 Python 实现 实验硬件: CPU :AMD Ryzen 7 5800H(3.20 GHz) 内存 :32GB (3200MHz) 要求 :使用一个矩阵,一个向量相乘,分别用单进程和多进程的mpi接口实现。 全局的规模参数是 Scale 数据示例 : 当 Scale=5 时,数据示例如

    2023年04月22日
    浏览(17)
  • 【洁洁送书第一期】Python高并发与高性能编程: 原理与实践

    【洁洁送书第一期】Python高并发与高性能编程: 原理与实践

    Python成为时下技术革新的弄潮儿,全民Python的发展趋势让人们不再满足于简单地运行Python程序,逐步探索其更为广泛的日常应用和高性能设计。 以ChatGPT为代表的大模型产品对初级程序开发人员提出了挑战,要想在开发领域站稳脚跟、有发展,必须掌握更高级的技巧和能力。

    2024年02月16日
    浏览(11)
  • 《Python高并发与高性能编程:原理与实践》——小解送书第六期

    《Python高并发与高性能编程:原理与实践》——小解送书第六期

    目录 书籍介绍  抽奖 Python成为时下技术革新的弄潮儿,全民Python的发展趋势让人们不再满足于简单地运行Python程序,逐步探索其更为广泛的日常应用和高性能设计。以ChatGPT为代表的大模型产品对初级程序开发人员提出了挑战,要想在开发领域站稳脚跟、有发展,必须掌握更

    2024年02月14日
    浏览(7)
  • 【大虾送书第三期】《Python高并发与高性能编程: 原理与实践》

    【大虾送书第三期】《Python高并发与高性能编程: 原理与实践》

    目录 ✨写在前面 ✨主要内容 ✨本书特色 ✨关于作者      🦐博客主页:大虾好吃吗的博客      🦐专栏地址:免费送书活动专栏地址 Python成为时下技术革新的弄潮儿,全民Python的发展趋势让人们不再满足于简单地运行Python程序,逐步探索其更为广泛的日常应用和高性能

    2024年02月16日
    浏览(14)
  • FastAPI + NGINX + Gunicorn:一步一步教你部署一个高性能的Python网页应用

    FastAPI + NGINX + Gunicorn:一步一步教你部署一个高性能的Python网页应用

    部署一个 FastAPI 应用到你的服务器是一项复杂的任务。如果你对 NGINX 、 Gunicorn 和 Uvicorn 这些技术不熟悉,可能会浪费大量的时间。如果你是刚接触 Python 语言不久或者希望利用 Python 构建自己的Web应用程序,本文的内容可能会让你第一次部署时更节省时间。 FastAPI 是用于开发

    2024年02月05日
    浏览(8)
  • Rust 开发的高性能 Python 包管理工具,可替换 pip、pip-tools 和 virtualenv

    Rust 开发的高性能 Python 包管理工具,可替换 pip、pip-tools 和 virtualenv

    最近,我在 Python 潮流周刊 中分享了一个超级火爆的项目,这还不到一个月,它在 Github 上已经拿下了 8K star 的亮眼成绩,可见其受欢迎程度极高!国内还未见有更多消息,我趁着周末把一篇官方博客翻译出来了,分享给大家。 作者:@charliermarsh 译者:豌豆花下猫@Python猫 英

    2024年03月09日
    浏览(13)
  • 《高性能MySQL》——创建高性能的索引(笔记)

    《高性能MySQL》——创建高性能的索引(笔记)

    索引(在MySQL中也叫做“键(key)”) 是存储引擎用于快速找到记录的一种数据结构。 索引对于良好的性能非常关键。尤其是当表中的数据量越来越大时,索引对性能的影响愈发重要。 在数据量较小且负载较低时,不恰当的索引对性能的影响可能还不明显,但当数据量逐渐增大时

    2024年02月07日
    浏览(34)
  • 【Linux高性能服务器编程】——高性能服务器框架

    【Linux高性能服务器编程】——高性能服务器框架

      hello !大家好呀! 欢迎大家来到我的Linux高性能服务器编程系列之高性能服务器框架介绍,在这篇文章中, 你将会学习到高效的创建自己的高性能服务器,并且我会给出源码进行剖析,以及手绘UML图来帮助大家来理解,希望能让大家更能了解网络编程技术!!! 希望这篇

    2024年04月25日
    浏览(33)
  • 读高性能MySQL(第4版)笔记08_创建高性能索引(上)

    读高性能MySQL(第4版)笔记08_创建高性能索引(上)

    2.4.2.1. 按照索引列中的数据大小顺序存储的 2.4.3.1. 键前缀查找只适用于根据最左前缀的查找 2.4.4.1. 在查询某些条件的数据时,存储引擎不再需要进行全表扫描 2.4.4.2. 通过比较节点页的值和要查找的值可以找到合适的指针进入下层子节点,这些指针实际上定义了子节点页中

    2024年02月08日
    浏览(33)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包