今天看啥  ›  专栏  ›  锐多宝

pandas/polars/gma读写Excel文件速度对比,探索Excel数据处理的最佳性能模式

锐多宝  · 公众号  ·  · 2024-08-07 23:29
    

文章预览

  Excel(.xlsx)文件作为数据表重要承载格式,在诸多领域有较大规模的应用。在数据自动化处理过程中,针对Excel数据,我们常编写代码进行自动化过程。   本文主要比较Python的第三方库 pandas/polars/gma,针对大型 .xlsx 文件的读写效率,并提出最佳使用性能策略,方便各位朋友按需使用。 unset unset 测试环境 unset unset 系统和硬件 操作系统 :Window 10 21H2 CPU :Intel(R) Core(TM) i5-10210U 内存 :16.0 GB 软件 Python :3.11 IDE :Jupyter Notebook 7 库名 版本 pandas 2.2.2 polars 1.2.1 gma 2.0.11.1 unset unset 测试用例 unset unset 测试数据为洛阳市2022年POI点(数据来源于网络),其中1X为原始数据,2X、3X、4X、5X为原始数据在行方向上复制为原数据2、3、4、5倍后的结果。 名称 文件大小 数据量(行×列) 洛阳市POI数据_1X.xlsx 9.43MB 208319 × 8 洛阳市POI数据_2X.xlsx 17.2MB 416638 × 8 洛阳市POI ………………………………

原文地址:访问原文地址
快照地址: 访问文章快照
总结与预览地址:访问总结与预览