本文示例代码已上传至我的
Github
仓库https://github.com/CNFeffery/DataScienceStudyNotes
大家好我是费老师,前两天pandas
正式发布了其2.0.0
版本,作为一次大版本更新,pandas
针对底层进行了大量的重构以优化性能和稳定性,其有关这次更新内容的说明文档更是洋洋洒洒非常繁杂。
我们作为日常使用pandas
的用户,并不需要了解过多底层更新内容,只需要学习如何使用新版pandas
为自己提质提效就行,今天的文章话不多说,直接带大家速通新版pandas
干货内容😎。
为了下文中方便进行演示,我们创建新的虚拟环境来测试新版pandas
性能表现:
conda create -n pandas2.0-test python=3.8 -y conda activate pandas2.0-test pip install pandas pyarrow jupyterlab
我们对新版pandas
的最大期待就是1个字——快,因为经过15年的发展,pandas
的分析功能已经相当丰富,API语法也足够简单高效,但在处理较大型数据集时的速度和内存占用属实捉急。
因此新版pandas
引入了基于高性能运算库arrow
的一系列常用数据类型,作为对默认基于numpy
的数据类型的代替。
我们测试使用到的数据集来自(https://www.kaggle.com/datasets/kartik2112/fraud-detection
),针对其中的fraudTrain.csv
文件进行读取,这个文件大小为三百多兆,我们分别采用3种不同的方式进行读取:
可以看到,新版pandas
中最优的参数组合,足足比默认的参数快了将近20倍🚀,查看使用pyarrow
数据类型后端读入的数据框,可以发现类型都已经切换到pyarrow
的常用类型:
得益于新的数据类型支持,很多常用的运算操作都要比默认情况下快上很多,其中数值型运算提升幅度很小,但是针对字符型的提升幅度相当大,如下面例子中的startswith()
判断就快了接近50倍:
“修改时复制”作为一种优化机制,在1.5
版本中开始引入pandas
,并在2.0
中对pandas
中大多数运算操作进行了支持,且很有可能在3.0
版本中作为默认的策略。
一言以蔽之,“修改时复制”机制就是一种惰性复制机制,可以帮助我们在运算过程中自动避免很多不必要的数据复制操作,下面我们来看一些例子:
在默认情况下,如果我们像下面这样将df
的field1
列直接赋值给了field1
,再对field1
中的值进行修改,就会导致原先的df
中的对应值也被修改了,这种机制本意是避免赋值时频繁的数据复制占用内存,但很容易让我们不小心篡改了原始数据:
而“修改时复制”机制,则会在频繁复制数据,和避免篡改数据之间进行兼顾(当前版本需要设置全局参数mode.copy_on_write
为True
以启用):
也就是说,新版pandas
中的“修改时复制”机制,会自动检测从源数据中衍生出的数据自身是否发生了值修改,并在修改时才进行数据复制操作,保证了分析过程的高效性和稳定性😋。
除了上述介绍的内容外,新版pandas
还进行了大量的性能优化更新,这些更新无需我们改变过去的pandas
写法,而是在我们的日常使用过程中”润物细无声“地帮我们节省了计算开销,可以说,作为pandas
老用户,切换到2.0
版本的过程是无痛且丝滑的😀,大家可以放心地进行更新,更多更新内容细节请移步https://pandas.pydata.org/docs/whatsnew/v2.0.0.html
。
以上就是本文的全部内容,欢迎在评论区与我进行讨论~