从Pandas快速切换到Polars :数据的ETL和查询

这篇具有很好参考价值的文章主要介绍了从Pandas快速切换到Polars :数据的ETL和查询。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

对于我们日常的数据清理、预处理和分析方面的大多数任务,Pandas已经绰绰有余。但是当数据量变得非常大时,它的性能开始下降。

我们以前的两篇文章来测试Pandas 1.5.3、polar和Pandas 2.0.0之间的性能了,Polars 正好可以解决大数据量是处理的问题,所以本文将介绍如何将日常的数据ETL和查询过滤的Pandas转换成polars。

从Pandas快速切换到Polars :数据的ETL和查询

Polars的优势

Polars是一个用于Rust和Python的DataFrame库。

  • Polars利用机器上所有可用的内核,而pandas使用单个CPU内核来执行操作。
  • Polars比pandas相对轻量级,没有依赖关系,这使得导入Polars的速度更快。导入Polars只需要70毫秒,而导入pandas需要520毫秒。
  • Polars进行查询优化减少了不必要的内存分配。它还能够以流方式部分或全部地处理查询。
  • Polars可以处理比机器可用RAM更大的数据集。

ETL

Extract, Transform, and Load (ETL)的过程是怎样的:

“提取、转换和加载(ETL)是将来自多个数据源的数据组合到称为数据仓库的过程。ETL使用一组业务规则来清理和组织原始数据,并为存储、数据分析和机器学习(ML)做好准备。可以通过数据分析解决特定的业务智能需求(例如预测业务决策的结果、生成报告、减少操作效率低下,等等)。(来源:AWS)

Polars和Pandas都支持从各种来源读取数据,包括CSV、Parquet和JSON。

 df=pl.read_csv('data.csv')
 df=pl.read_parquet('data.parquet')
 df=pl.read_json('data.json')

对于数据的读取方面和Pandas基本一致。

转换是ETL中最重要、最困难和最耗时的步骤。

polar支持Pandas函数的一个子集,所以我们可以使用熟悉的Pandas函数来执行数据转换。

 df=df.select(['A', 'C'])
 df=df.rename({‘A’: ‘ID’, ‘C’: ‘Total’})
 df=df.filter(pl.col('A') >2)
 df=df.groupby('A').agg({'C': 'sum'})

这些Pandas函数都可以直接使用。

创建新列:

 df = df.with_column(pl.col(‘Total’) / 2, ‘Half Total’)

处理空值:

 df=df.fill_null(0)
 df_filled=df.fill_null('backward')
 df=df.fillna(method='ffill')

Dataframe 的合并

 #pandas
 df_join=pd.merge(df1, df2, on='A')
 #polars
 df_join=df1.join(df2, on='A')

连接两个DF

 #pandas
 df_union=pd.concat([df1, df2], ignore_index=True)
 #polars
 df_union=pl.vstack([df1, df2])

polar使用与Pandas相同的函数来将数据保存到CSV、JSON和Parquet文件中。

 # CSV
 df.to_csv(file)
 # JSON
 df.to_json(file)
 # Parquet
 df.to_parquet(file)

最后,如果你还需要使用Pandas做一些特殊的操作,可以使用:

 df.to_pandas()

这可以将polar的DF转换成pandas的DF。

最后我们整理一个简单的表格:

从Pandas快速切换到Polars :数据的ETL和查询

数据的查询过滤

我们的日常工作中,数据的查询是最重要,也是用的最多的,所以在这里我们再整理下查询过滤的操作。

首先创建一个要处理的DataFrame。

 # pandas
 import pandas as pd
 
 # read csv
 df_pd = pd.read_csv("datasets/sales_data_with_stores.csv")
 
 # display the first 5 rows
 df_pd.head()

从Pandas快速切换到Polars :数据的ETL和查询

 # polars
 import polars as pl
 
 # read_csv
 df_pl = pl.read_csv("datasets/sales_data_with_stores.csv")
 
 # display the first 5 rows
 df_pl.head()

从Pandas快速切换到Polars :数据的ETL和查询

polars首先显示了列的数据类型和输出的形状,这对我们来说非常好。下面我们进行一些查询,我们这里只显示一个输出,因为结果都是一样的:

1、按数值筛选

 # pandas
 df_pd[df_pd["cost"] >750]
 df_pd.query('cost > 750')
 
 # polars
 df_pl.filter(pl.col("cost") >750)

从Pandas快速切换到Polars :数据的ETL和查询

2、多个条件查询

pandas和polar都支持根据多个条件进行过滤。我们可以用“and”和“or”逻辑组合条件。

 # pandas
 df_pd[(df_pd["cost"] >750) & (df_pd["store"] =="Violet")]
 
 # polars
 df_pl.filter((pl.col("cost") >750) & (pl.col("store") =="Violet"))

从Pandas快速切换到Polars :数据的ETL和查询

3、isin

pandas的isin方法可用于将行值与值列表进行比较。当条件包含多个值时,它非常有用。这个方法的polar版本是" is_in "。

 # pandas
 df_pd[df_pd["product_group"].isin(["PG1", "PG2", "PG5"])]
 
 # polars
 df_pl.filter(pl.col("product_group").is_in(["PG1", "PG2", "PG5"]))

从Pandas快速切换到Polars :数据的ETL和查询

4、选择列的子集

为了选择列的子集,我们可以将列名传递给pandas和polar,如下所示:

 cols= ["product_code", "cost", "price"]
 
 # pandas (both of the following do the job)
 df_pd[cols]
 df_pd.loc[:, cols]
 
 # polars
 df_pl.select(pl.col(cols))

从Pandas快速切换到Polars :数据的ETL和查询

5、选择行子集

pandas中可以使用loc或iloc方法选择行。在polar则更简单。

 # pandas
 df_pd.iloc[10:20]
 
 # polars
 df_pl[10:20]

选择相同的行,但只选择前三列:

 # pandas
 df_pd.iloc[10:20, :3]
 
 # polars
 df_pl[10:20, :3]

如果要按名称选择列:

 # pandas
 df_pd.loc[10:20, ["store", "product_group", "price"]]
 
 # polars
 df_pl[10:20, ["store", "product_group", "price"]]

按数据类型选择列:

我们还可以选择具有特定数据类型的列。

 # pandas
 df_pd.select_dtypes(include="int64")
 
 # polars
 df_pl.select(pl.col(pl.Int64))

从Pandas快速切换到Polars :数据的ETL和查询

总结

可以看到polar与pandas非常相似,所以如果在处理大数据集的时候,我们可以尝试使用polar,因为它在处理大型数据集时的效率要比pandas高,我们这里只介绍了一些简单的操作,如果你想了解更多,请看polar的官方文档:

https://avoid.overfit.cn/post/de7324ae4d3541d184e1c5eb579273db文章来源地址https://www.toymoban.com/news/detail-419379.html

到了这里,关于从Pandas快速切换到Polars :数据的ETL和查询的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • Pandas:查询指定数据、数据的详细信息

    本文主要介绍了在Python中,如何利用Pandas去读取数据、查询指定条件的数据、以及数据的详细信息. 网上随便找的数据集 1、读取数据 2、查看数据的大小 数据量(行)、数据指标(列)、数据维度、尺寸 3、获取前/后N条数据 获取前4条数据: head()方法 默认获取前5条数据: 获

    2024年02月02日
    浏览(42)
  • 对于Android开发,我们为何要学Jetpack Compose?

    Jetpack Compose 是用于构建原生 Android 界面的新工具包。它可简化并加快 Android 上的界面开发,使用更少的代码、强大的工具和直观的 Kotlin API,快速让应用生动而精彩。Compose 使用全新的组件——可组合项 (Composable) 来布局界面,使用修饰符 (Modifier) 来配置可组合项。 为何Jetp

    2024年02月10日
    浏览(54)
  • 对于晶振电路,我们需要从几个方面考虑设计:

    对于晶振电路,我们需要从几个方面考虑设计:  降低寄生电容的不确定性  降低温度的不确定性  减少对其他电路的干扰 设计注意点: 1. 晶振尽量靠近芯片,保证线路尽量短,防止线路过长导致串扰以及寄生电容。 2. 晶振周围打地孔做包地处理。 3. 晶振底部不要走信号线

    2023年04月22日
    浏览(45)
  • Python大数据之pandas快速入门(二)

    3.1 DataFrame 的行标签和列标签 1)如果所示,分别是 DataFrame 的行标签和列标签 2)获取 DataFrame 的行标签 3)获取 DataFrame 的列标签 4)设置 DataFrame 的行标签 3.2 DataFrame 的行位置编号和列位置编号 DataFrame 除了行标签和列标签之外,还具有行列位置编号。 行位置编号:从上到下

    2024年02月05日
    浏览(49)
  • PySpark数据分析基础:PySpark Pandas创建、转换、查询、转置、排序操作详解

    目录 前言 一、Pandas数据结构 1.Series 2.DataFrame  3.Time-Series  4.Panel 5.Panel4D 6.PanelND 二、Pyspark实例创建 1.引入库 2.转换实现 pyspark pandas series创建 pyspark pandas dataframe创建 from_pandas转换  Spark DataFrame转换  三、PySpark Pandas操作 1.读取行列索引 2.内容转换为数组 3.DataFrame统计描述 4.转

    2024年02月02日
    浏览(57)
  • Pandas数据库查询更新create_engine用法,以及一些警告及弃用处理

    警示情况: 目前使用的连接方式: 避免警告提示推荐使用SQLAlchemy 需要先安装SQLAlchemy库: pip install sqlalchemy 新连接使用方式: sql语句需要使用text()包裹使用,如果没有包裹则会报错: engine需要使用connect()否则会出现如下报错: 原因:pd.read_sql方法传递“连接”变量而

    2024年02月10日
    浏览(37)
  • 并行计算框架Polars、Dask的数据处理性能对比

    在Pandas 2.0发布以后,我们发布过一些评测的文章,这次我们看看,除了Pandas以外,常用的两个都是为了大数据处理的并行数据框架的对比测试。 本文我们使用两个类似的脚本来执行提取、转换和加载(ETL)过程。 这两个脚本主要功能包括: 从两个parquet 文件中提取数据,对于小

    2024年02月16日
    浏览(43)
  • 【数据分析入门】人工智能、数据分析和深度学习是什么关系?如何快速入门 Python Pandas?

    本文详细介绍了人工智能、数据分析和深度学习之间的关系,并就数据分析所需的Pandas库做了胎教般的入门引导。祝读得开心!   本文是原 《数据分析大全》 、现改名为 《数据分析》 专栏的第二篇,我在写这篇文章的时候突然意识到—— 单靠我是不可能把数据分析的方

    2024年02月14日
    浏览(74)
  • mybatisplus快速实现动态数据源切换

    1.背景   通常一个系统只需要连接一个数据库就可以了。但是在企业应用的开发中往往会和其他子系统交互,特别是对于一些数据实时性要求比较高的数据,我们就需要做实时连接查询,而不是做同步。这个时候就需要用到多数据源。   举个简单的例子某企业要做订单网上订

    2024年02月06日
    浏览(47)
  • 【Unity知识】Application.streamingAssetsPath 和 Application.persistentDataPath 是什么?这两个路径有何区别?对于我们的意义是什么?

    Application.streamingAssetsPath 和 Application.persistentDataPath 是两个提供文件系统路径的预定义变量。它们在Unity中用于存储和读取游戏数据。 Application.streamingAssetsPath:是一个只读路径,指向游戏包内的“StreamingAssets”文件夹。这个文件夹用于存储那些在游戏打包时需要一起打包的文

    2024年02月11日
    浏览(44)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包