cuDF Pandas 与 Pandas 性能对比：GPU 加速能否带来显著提升？

文章预览

什么是 cuDF Pandas？ 如果你是一个使用 Python 的 Pandas 库的用户，并且希望或需要最大限度地提高程序的运行速度，那么你有一些选择。这些选择大多围绕着使用外部库，这些库取代了现有的 Pandas 操作，并针对大规模和快速数据处理进行了优化。这些库的示例有 VAEX、POLARS、DuckDB 等。这些库的问题在于，它们通常要求你或多或少地重写代码，这可能不是你想要或有能力做的事情。 如果你足够幸运，你的系统上有一个 GPU，那么另一个更新的选择是 cuDF.pandas。 cuDF.pandas 是基于 cuDF 构建的，cuDF 是一个 Python GPU DataFrame 库（基于 Apache Arrow 列式内存格式），用于加载、连接、聚合、过滤以及以其他方式操作数据。 要使用 cuDF Pandas，你只需在从命令行运行 Python 时提供一个标志，或者在通过 Jupyter Notebook 运行 Python 时加载一个扩展。当支持 GPU 计算（例如，有 ………………………………