Redian新闻
>
一些 Python 代码加速工具!

一些 Python 代码加速工具!

公众号新闻

这篇文章会提供一些优化代码的工具。会让代码变得更简洁,或者更迅速。


当然这些并不能代替算法设计,但是还是能让 Python 加速很多倍。


这篇文章主要讲优化单处理器的代码,下面会介绍一些一些高效的函数实现,也有已经封装好的拓展模块,还包括速度更快的 Python 解释器。


当然多处理器版本确实能大幅提高运行效率。如果想了解多核编程,可以从multiprocessing 模块开始。而且也能找到非常多的关于分布式计算的第三方工具。这里可以看一下 Python wiki 上的关于 Parallel Processing 的内容。


接下来,会说一些关于Python 加速工具的选单。

NumPy、SciPy、Sage 和 Pandas

先说 NumPy,它的核心是一个多维数字数组的实现。除了这个数据结构之外,还实现了若干个函数和运算符,可以高效地进行数组运算。并且对于被调用的次数进行了精简。它可以被用来进行极其高效的数学运算。

SciPy 和 Sage 都将 NumPy 内置为自身的一部分,同时内置了其他的不同的工具,从而可以用于特定科学、数学和高性能计算的模块。

Pandas 是一个侧重于数据分析的工具。如果处理大量半结构化数据的时候,可能也会用到 Pandas 相关的工具,比如 Blaze。

PyPy、Pyston、Parakeet、Psyco 和 Unladen Swallow

让代码运行的更快,侵入性最小的就是使用实时编译器(JIT 编译)。以前的话我们可以直接安装 Psyco。安装之后导入 psyco,然后调用 psyco.full()。代码运行速度就可以明显提升。运行 Python 代码的时候,它可以实时监控程序,会将一部分代码编译为了机器码。


现在好多 Psyco 等加速器的项目已经停止维护了,不过类似的功能在 PyPy 中得到了继承。
PyPy 为了方便分析、优化和翻译,用 Python 语言将 Python 重新实现了一遍,这样就可以 JIT 编译。而且 PyPy 可以直接将代码翻译成像 C 那样的性能更高的语言。


Unladen Swallow 是一个 Python 的 JIT 编译器。是 Python 解释器的一本版本,被称为底层虚拟机(LLVM)。不过这个开发已经停止了。


Pyston 是一个与 LLVM 平台较为接近的 Python 的 JIT 编译器。很多时候已经优于 Python 的实现,但不过还有很多地方不完善。

GPULib、PyStream、PyCUDA 和 PyOpenCL、

这四个都是用在图像处理单元来实现代码的加速。前面讲的都是用代码优化来实现加速的。而这些都是从硬件层面上进行加速,如果有一个强大的 GPU,我们可以用 GPU 来计算,从而减少 CPU 宝贵的资源。


PyStream 古老一点。GPULib 提供了基于 GPU 的各种形式的数据计算。


如果用 GPU 加速自己的代码,可以用 PyCUDA 和 PyOpenCL。

Pyrex、Cython、Numba 和 Shedskin、

这四个项目都致力于将 Python 代码翻译为 C、C++和 LLVM 的代码。Shedskin 会将代码编译为 C++语言。Pyrex、Cython 编译的主要目标是 C 语言。Cython 也是 Pyrex 的一个分支。


而且,Cython 还有 NumPy 数组的额外支持。


如果面向数组和数学计算的时候,Numba 是更好的选择导入时会自动生成相应的 LLVM 的代码。升级版本是 NumbaPro,还提供了对 GPU 的支持。

SWIG、F2PY、Boost.Python

这些工具可以将其他的语言封装为 Python 的模块。第一个可以封装 C/C++语言。F2PY 可以封装 Fortran。Boost.Python 可以封装 C++语言


SUIG 只要启动一个命令行工具,往里面输入 C 或者 C++的头文件,封装器代码就会自动生成。除了 Python,而且可以成为其他语言的封装器,比如 Java 和 PHP。

ctypes、llvm-py 和 CorePy2

这些模块可以帮助我们实现Python 底层对象的操作。ctypes 模块可以用于在内存中构建编译 C 的对象。并且调用共享库中的 C 的函数。不过 ctypes 已经包含在 Python 的标准库里面了。


llvm-py 主要提供LLVM 的 Python 接口。以便于构建代码,然后编译他们。也可以在 Python 中构建它的编译器。当然搞出自己编程语言也是可以的。
CorePy2 也可以进行加速,不过这个加速是运行在汇编层的。

Weave、Cinpy 和 PyInline

这三个包,就可以让我们在 Python 代码中直接使用 C 语言或者其他的高级语言。混合代码,依然可以保持整洁。可以使用 Python 代码的字符串的多行特性,可以使其他的代码按照自身的风格来进行排版。

其他工具

如果我们要节省内存,就不能使用 JIT 了。一般 JIT 都太耗费内存。有一句话说的很对,时间和内存经常不能兼得,而我们在工程开发中,总是要寻找他们的平衡点
至于其他的一些东西,比如 Micro Python 项目,这个是用在嵌入式设备或者微控制器上面使用的。

链接:https://blog.csdn.net/weixin_39705069/article/details/111294105

(版权归原作者所有,侵删)


微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。
相关阅读
谷歌终于能与OpenAI 打擂台了!全新PaLM 2比肩GPT-4:一部手机就可运行,精通Python等20种语言花园记事2013--玫瑰玫瑰(3)太强啦!!!ChatGPT 能上传文件了,能执行 Python 代码啦!陶哲轩:GPT-4神助攻,写Python代码轻松省半小时Python实现单例模式的五种写法!比Python快3.5万倍的Mojo融资7亿,LLVM之父:不会威胁到Python,该恐惧的应该是C++北京内推 | 腾讯微信事业群招聘NLP算法工程师/预训练模型加速工程师花园记事2023--五月玫园Python 吞噬世界,GPT 吞噬 Python!ChatGPT 上线最强应用Excel最新版官方支持Python,打工人的工具又强化了AI图像生成技术服务商「Tiamat」再获A+轮投资,上线网页版产品加速工具化|早起看早期使用开源 Python API 封装器与你的集群对话 | Linux 中国花园记事2023--玫瑰玫瑰(2)俗世生活--肉夹馍初夏, 不停变化的季节。Python吞噬世界,GPT吞噬Python!ChatGPT 上线最强应用:分析数据、生成代码都精通Python 吞噬世界,GPT 吞噬 Python!ChatGPT 上线最强应用:分析数据、生成代码都精通如何以数字化创新加速工业新转型?施耐德总结了这些做法用不到 100 行 Rust 使 Python 快 100 倍Mojo:比 Python 快 35000 倍的编程语言比 Python 快 3.5 万倍的 Mojo 融资七亿,LLVM之父:不会威胁到 Python,该恐惧的应该是 C++如何管理有近 3 万个文件的超大型 Python 代码仓?3天速成!清华大学出品《Python漫画教学书》!零基础请低调领取不用LLM,遗传编程可控Python代码!谷歌DeepMind等提出全新ARZ框架|IROS 2023LPython:最新的高性能Python实现、速度极快且支持多后端详解Python文件: .py、.ipynb、.pyi、.pyc、​.pyd !Python 命令补全工具 argcompletePython那些优质可视化工具!在线研讨会预告!主讲 NVIDIA RTX™ A5500 显卡加速工业 CAD 图像渲染与性能测评LPython:最新的高性能 Python 实现、速度极快且支持多后端Stable家族上新!全新编码工具StableCode,16000上下文,5个Python文件同编辑Python+Vue+Flask,打造让面试官眼前一亮的在线视频网站 | 极客时间清华官宣发布《Python漫画教学书》!适合所有零基础留学生免费试听|全面掌握Python, SQL等数据分析语言、工具和拓展包,高效斩获心仪offer!用户名密码加密的页面爆破学习
logo
联系我们隐私协议©2024 redian.news
Redian新闻
Redian.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Redian.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。