分享一些Python代码加速工具!

这篇具有很好参考价值的文章主要介绍了分享一些Python代码加速工具!。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

这篇文章会提供一些优化代码的工具。会让代码变得更简洁,或者更迅速。

当然这些并不能代替算法设计,但是还是能让 Python 加速很多倍。比如适用于双向队列的 deque,以及在合适的条件下运用 bisect 和 heapq 来提升算法的性能。而且前面也提到过,Python 提供了当今最高级也是最有效的排序算法(list.sort)。

另外还有一个功能多样又迅速的散列表(dict)。而且如果写迭代器封装、功能性代码或者是某种额外扩展的时候,或许CyToolz可以用得到。当然在itertools 和 functools 模块中,还有很多函数可以带来很高效的代码。

这篇文章主要讲优化单处理器的代码,下面会介绍一些一些高效的函数实现,也有已经封装好的拓展模块,还包括速度更快的 Python 解释器。

当然多处理器版本确实能大幅提高运行效率。如果想了解多核编程,可以从multiprocessing 模块开始。而且也能找到非常多的关于分布式计算的第三方工具。这里可以看一下 Python wiki 上的关于 Parallel Processing 的内容。

接下来,会说一些关于Python 加速工具的选单。

NumPy、SciPy、Sage 和 Pandas

先说 NumPy,它的核心是一个多维数字数组的实现。除了这个数据结构之外,还实现了若干个函数和运算符,可以高效地进行数组运算。并且对于被调用的次数进行了精简。它可以被用来进行极其高效的数学运算。

SciPy 和 Sage 都将 NumPy 内置为自身的一部分,同时内置了其他的不同的工具,从而可以用于特定科学、数学和高性能计算的模块。

Pandas 是一个侧重于数据分析的工具。如果处理大量半结构化数据的时候,可能也会用到 Pandas 相关的工具,比如 Blaze。

PyPy、Pyston、Parakeet、Psyco 和 Unladen Swallow

让代码运行的更快,侵入性最小的就是使用实时编译器(JIT 编译)。以前的话我们可以直接安装 Psyco。安装之后导入 psyco,然后调用 psyco.full()。代码运行速度就可以明显提升。运行 Python 代码的时候,它可以实时监控程序,会将一部分代码编译为了机器码。

现在好多 Psyco 等加速器的项目已经停止维护了,不过类似的功能在 PyPy 中得到了继承。

PyPy 为了方便分析、优化和翻译,用 Python 语言将 Python 重新实现了一遍,这样就可以 JIT 编译。而且 PyPy 可以直接将代码翻译成像 C 那样的性能更高的语言。

Unladen Swallow 是一个 Python 的 JIT 编译器。是 Python 解释器的一本版本,被称为底层虚拟机(LLVM)。不过这个开发已经停止了。

Pyston 是一个与 LLVM 平台较为接近的 Python 的 JIT 编译器。很多时候已经优于 Python 的实现,但不过还有很多地方不完善。

GPULib、PyStream、PyCUDA 和 PyOpenCL

这四个都是用在图像处理单元来实现代码的加速。前面讲的都是用代码优化来实现加速的。而这些都是从硬件层面上进行加速,如果有一个强大的 GPU,我们可以用 GPU 来计算,从而减少 CPU 宝贵的资源。

PyStream 古老一点。GPULib 提供了基于 GPU 的各种形式的数据计算。

如果用 GPU 加速自己的代码,可以用 PyCUDA 和 PyOpenCL。

Pyrex、Cython、Numba 和 Shedskin

这四个项目都致力于将 Python 代码翻译为 C、C++和 LLVM 的代码。Shedskin 会将代码编译为 C++语言。Pyrex、Cython 编译的主要目标是 C 语言。Cython 也是 Pyrex 的一个分支。

而且,Cython 还有 NumPy 数组的额外支持。

如果面向数组和数学计算的时候,Numba 是更好的选择导入时会自动生成相应的 LLVM 的代码。升级版本是 NumbaPro,还提供了对 GPU 的支持

SWIG、F2PY、Boost.Python

这些工具可以将其他的语言封装为 Python 的模块。第一个可以封装 C/C++语言。F2PY 可以封装 Fortran。Boost.Python 可以封装 C++语言。

SUIG 只要启动一个命令行工具,往里面输入 C 或者 C++的头文件,封装器代码就会自动生成。除了 Python,而且可以成为其他语言的封装器,比如 Java 和 PHP。

ctypes、llvm-py 和 CorePy2

这些模块可以帮助我们实现Python 底层对象的操作。ctypes 模块可以用于在内存中构建编译 C 的对象。并且调用共享库中的 C 的函数。不过 ctypes 已经包含在 Python 的标准库里面了。

llvm-py 主要提供LLVM 的 Python 接口。以便于构建代码,然后编译他们。也可以在 Python 中构建它的编译器。当然搞出自己编程语言也是可以的。

CorePy2 也可以进行加速,不过这个加速是运行在汇编层的。

Weave、Cinpy 和 PyInline

这三个包,就可以让我们在 Python 代码中直接使用 C 语言或者其他的高级语言。混合代码,依然可以保持整洁。可以使用 Python 代码的字符串的多行特性,可以使其他的代码按照自身的风格来进行排版。

其他工具

如果我们要节省内存,就不能使用 JIT 了。一般 JIT 都太耗费内存。有一句话说的很对,时间和内存经常不能兼得,而我们在工程开发中,总是要寻找他们的平衡点。

至于其他的一些东西,比如 Micro Python 项目,这个是用在嵌入式设备或者微控制器上面使用的。

如果只是想在 Python 环境中工作,然后想用别的语言,可以看看这个项目Julia。文章来源地址https://www.toymoban.com/news/detail-642466.html

到了这里,关于分享一些Python代码加速工具!的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • Numba:加速python代码

     通常我们加速python代码是考虑把.py文件编译成.c文件,然后把.c文件编译成.so或.pyd文件,可以参考另一章博文: Cython为py程序加密提高性能_cythonize_Rnan-prince的博客-CSDN博客 现在我们考虑一种不用将py文件编译成.c文件的方法:numba,其实原理差不多,只是用户不感知。 Numba是

    2024年02月09日
    浏览(23)
  • Python实现视频加速效果(完整代码)

    Python实现视频加速效果(完整代码) 在日常生活中,我们可能需要对某些视频进行编辑,如加速、慢放等效果。Python作为一种以数据分析和计算为主要应用的脚本语言,拥有处理视频的能力。本文将提供Python实现视频加速效果的完整代码,供大家进行参考。 首先我们需要安装所

    2024年02月14日
    浏览(48)
  • 基于Python语言Django+Layui实现的低代码开发平台

    一款 Python 语言基于Django、Layui、MySQL等框架精心打造的一款模块化、高性能、企业级的敏捷开发框架,本着简化开发、提升开发效率的初衷触发,框架自研了一套个性化的组件,实现了可插拔的组件式开发方式:单图上传、多图上传、下拉选择、开关按钮、单选按钮、多选按

    2024年02月11日
    浏览(89)
  • C++&Python&C# 三语言OpenCV从零开发(6):边界填充+Csharp调用Python matplotlib代码

    C++PythonCsharp in OpenCV 专栏 【2022B站最好的OpenCV课程推荐】OpenCV从入门到实战 全套课程(附带课程课件资料+课件笔记) 今天来接着学习OpenCV,现在主要是以Python代码为主了,所以先实现Python,在用C++/Csharp重现一遍。 边界填充就是向外填充图片信息,将图片扩大。填充分为上下

    2024年01月23日
    浏览(63)
  • Python代码加速100倍,针对Excel自动化处理的加速实战!

    说到并发编程,我们先来澄清一下并发 (Concurrency) 和 并行 ( Parallelism)这两个概念,因为这个两个概念的含义是不同的。 并行(Parallelism)指的就是在同一时刻,有两个或两个以上的任务的代码在处理器上执行。从这个概念我们也可以知道,多个处理器或多核处理器是并行执行

    2024年02月19日
    浏览(43)
  • python一些小代码集

    (1)樱花树 (2)小猪佩奇 (3)皮卡丘 (4)烟花爆炸 (5)旗 (6)哆啦a梦 (7)多边形 (8)叮当猫2 (9)爱心 (10)基础画图 (11)圣诞树

    2024年02月03日
    浏览(26)
  • python中一些代码提速技巧

    列表是一个有序的可重复元素的集合,它可以包含任意类型的对象。列表的实现通常使用动态数组,这意味着可以通过索引来快速访问元素。 集合是一个无序的不重复元素的集合,它只能包含可散列的对象(例如,数字、字符串等)。集合的实现通常使用哈希表或类似的数据

    2024年02月07日
    浏览(36)
  • 分享一些实用的工具

    网址:  JavaScript mapping library: amCharts 5 https://www.amcharts.com/javascript-maps/ Demo地址: Chart Demos - amCharts https://www.amcharts.com/demos/#maps  他分为amCharts4和5,5看起来更完善。很多都是我们平时看到的能实现的效果,比如航线图、业务分布图、数据分析、股票k线图等等。设计师可以用来

    2024年04月28日
    浏览(37)
  • Python可视化工具分享

    今天和大家分享几个实用的纯python构建可视化界面服务,比如日常写了脚本但是不希望给别人代码,可以利用这些包快速构建好看的界面作为服务提供他人使用。有关于库的最新更新时间和当前star数量。 streamlit (23.3k Updated 2 hours ago) Streamlit 可让您在数分钟而不是数周内将数

    2024年02月11日
    浏览(43)
  • 【Python】从同步到异步多核:测试桩性能优化,加速应用的开发和验证

    目录 测试工作中常用到的测试桩mock能力 应用场景 简单测试桩 http.server扩展:一行命令实现一个静态文件服务器 性能优化:使用异步响应 异步响应 能优化:利用多核 gunicorn 安装 gunicorn 使用 gunicorn 启动服务 性能优化:使用缓存(functools.lru_cache)。 单元测试中的mock Python

    2024年02月14日
    浏览(39)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包