【玩转pandas系列】pandas数据结构—DataFrame

这篇具有很好参考价值的文章主要介绍了【玩转pandas系列】pandas数据结构—DataFrame。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

前言

大家好!我是一朵向阳花(花花花)🍭,本期跟大家分享的知识是 pandas 数据结构——DataFrame。

作者的【 Python 数据分析】专栏正在火热更新中🔥,如果本文对您有帮助,欢迎大家点赞 + 评论 + 收藏 !

每日金句分享:慢慢来,谁还没有一个努力的过程。』—— pony「网易云音乐」

一、DataFrame创建

DataFrame 是一个表格型的数据结构,DataFrame 既有行索引,又有列索引。

  • index行索引
  • column列索引
  • values二维 NumPy 数组

1.1 字典创建

字典创建时,字典的键变成 column ,值一般要是一个可迭代对象。

d = {
    'name':['John','marry','kitty','smith'],
    'age':[21,32,43,31]
}
df = pd.DataFrame(d)
df

【玩转pandas系列】pandas数据结构—DataFrame,Python数据分析,数据分析,pandas,数据结构

1.2 NumPy二维数组创建

NumPy 二维数组创建时,只需要将二维数组赋值给 DataFrame 的 values,然后指定 index 行索引和 column 列索引即可。

df = pd.DataFrame(
    data=np.random.randint(10,100,size=(4,6)),
    index=['小明','小红','小黄','小绿'],
    columns=['语文','数学','英语','化学','物理','生物']
)
df

【玩转pandas系列】pandas数据结构—DataFrame,Python数据分析,数据分析,pandas,数据结构

二、DataFrame切片

对于 DataFrame 的切片操作,因为是表格型,因此可以分为行切片,列切片,行列切片。

df = pd.DataFrame(
    data=np.random.randint(10,100,size=(4,6)),
    index=['小明','小红','小黄','小绿'],
    columns=['语文','数学','英语','化学','物理','生物']
)
print(df)

【玩转pandas系列】pandas数据结构—DataFrame,Python数据分析,数据分析,pandas,数据结构

2.1 行切片

既然是切片,也是分为显式切片和隐式切片,下面分别演示。

显式切片:

df['小红':'小黄'] 
df.loc['小红':'小黄']

【玩转pandas系列】pandas数据结构—DataFrame,Python数据分析,数据分析,pandas,数据结构

隐式切片:

df[1:3] # 数字是左闭右开
df.iloc[1:3]

【玩转pandas系列】pandas数据结构—DataFrame,Python数据分析,数据分析,pandas,数据结构

2.2 列切片

对于列切片,即不管第一个维度(使用:,实现),需要特别注意的是,对列切片不能使用中括号 [] ,只能使用 lociloc

  • 显式切片
df.loc[:,'语文':'英语']

【玩转pandas系列】pandas数据结构—DataFrame,Python数据分析,数据分析,pandas,数据结构
使用中括号报错:

【玩转pandas系列】pandas数据结构—DataFrame,Python数据分析,数据分析,pandas,数据结构

  • 隐式切片
df.iloc[:,0:3]

【玩转pandas系列】pandas数据结构—DataFrame,Python数据分析,数据分析,pandas,数据结构
使用中括号报错:

【玩转pandas系列】pandas数据结构—DataFrame,Python数据分析,数据分析,pandas,数据结构

2.3 行列切片

行列切片同时涉及对行和对列的切片,因此,对行列切片也只有两种方式,loc & iloc

df.loc['小明':'小红','语文':'数学']

【玩转pandas系列】pandas数据结构—DataFrame,Python数据分析,数据分析,pandas,数据结构

df.iloc[0:2,0:2]

【玩转pandas系列】pandas数据结构—DataFrame,Python数据分析,数据分析,pandas,数据结构

三、DataFrame运算

3.1 DataFrame和标量的运算

DataFrame和标量之间的运算(±*/ // % **),正常对每个元素运算即可。

df1 = pd.DataFrame(
    data=np.random.randint(0,10,(2,3))
)
display(df1)
df1 + 10

【玩转pandas系列】pandas数据结构—DataFrame,Python数据分析,数据分析,pandas,数据结构

3.2 DataFrame之间的运算

DataFrame的运算需要注意:

  • 1.DataFrame没有广播机制,因此它不会为缺失的行列补充数据
  • 2.如果索引对应,那么正常运算
  • 3.如果索引不对应,那么是 NaN
  • 4.如果想给没有索引的地方填充数据,使用 add 函数
df1 = pd.DataFrame(
    data=np.random.randint(0,10,(2,3))
)
df2 = pd.DataFrame(
    data=np.random.randint(0,10,(3,2))
)
display(df1,df2)
df1 + df2

【玩转pandas系列】pandas数据结构—DataFrame,Python数据分析,数据分析,pandas,数据结构
使用 add 函数填充数据:

df1.add(df2,fill_value=0)

【玩转pandas系列】pandas数据结构—DataFrame,Python数据分析,数据分析,pandas,数据结构

3.3 Series和DataFrame之间的运算

Series 的行索引会自动匹配 DataFrame 的列索引,匹配成功后,会对 DataFrame 的每一行都做相同的运算。

s = pd.Series([100,10,1],index=df1.columns)
df = pd.DataFrame(data=np.random.randint(2,10,(3,3)))
display(s,df)
df + s

【玩转pandas系列】pandas数据结构—DataFrame,Python数据分析,数据分析,pandas,数据结构

四、DataFrame多层次索引

4.1 多层次索引构造

多层次索引创建包括隐式构造和显式构造,隐式构造是直接指定一个多维 index 和多维 column 的构造方式,显式构造是通过 MultiIndex 类来构造的,有三种方式,分别是 数组、元组、笛卡尔积

1.隐式构造
data = np.random.randint(0,100,size=(6,6))

index = pd.MultiIndex.from_arrays([
    ['一班','一班','一班','二班','二班','二班'],
    ['张三','李四','王五','赵六','孙七','王八']
])

columns = [
    ['期中','期中','期中','期末','期末','期末'],
    ['语文','数学','英语','语文','数学','英语']
]

df = pd.DataFrame(data=data,index=index,columns=columns)
df

【玩转pandas系列】pandas数据结构—DataFrame,Python数据分析,数据分析,pandas,数据结构

2.显式构造

显式构造在隐式构造的基础上,只改变 index ,不改变其他。

  • <1> 数组
index = pd.MultiIndex.from_arrays([
    ['一班','一班','一班','二班','二班','二班'],
    ['张三','李四','王五','赵六','孙七','王八']
])
  • <2> 元组
index = pd.MultiIndex.from_tuples(
    (
        ('一班','张三'),('一班','李四'),('一班','王五'),
        ('二班','赵六'),('二班','孙七'),('二班','王八')
    )
)
  • <3> 笛卡尔积

笛卡尔积构造出来的是 2 x 3 = 6 个 index

index = pd.MultiIndex.from_product([
    ['一班','二班'],
    ['张三','李四','王五']
])

三种构造方法的运行结果和显式构造相同。

4.2 DataFrame多层索引的索引

1.获取元素

多层次索引中,如果使用 中括号 ,那么是列列行行;如果使用 loc ,那么是行列列行,如果使用 iloc ,那么是行列

还是使用上面构造的期中、期末成绩表格演示。

# 显式索引
print(df['期中']['语文']['一班']['张三'])
print(df.loc['一班']['期中']['语文']['张三'])
# 隐式索引
print(df.iloc[1])

【玩转pandas系列】pandas数据结构—DataFrame,Python数据分析,数据分析,pandas,数据结构

2.列索引&行索引

只需要牢牢记住中括号 []lociloc 在多层索引中的使用规则即可。

df['期中']
df.loc['一班']['期中']
df.iloc[:,[1]]

4.3 DataFrame多层索引的切片操作

DataFrame 多层次索引切片较为复杂,可以参考这篇博客 【数据分析day03】pandas“层次化索引对象”的多层索引,切片,stack。

五、索引的堆叠

索引的堆叠是指将行变成列,或将列变成行的操作,列变行由 stack 函数实现,行变列由 unstack 函数实现。

stack:将列索引变成行索引,默认是将最里层的列索引变成行索引,可以通过level控制,level默认等于 -1 并且变成的行索引也是在最里层。

首先构造 dataframe 对象:

data = np.random.randint(0,100,size=(6,6))

index = pd.MultiIndex.from_arrays([
    ['一班','一班','一班','二班','二班','二班'],
    ['张三','李四','王五','赵六','孙七','王八']
])

columns = [
    ['期中','期中','期中','期末','期末','期末'],
    ['语文','数学','英语','语文','数学','英语']
]

df = pd.DataFrame(data=data,index=index,columns=columns)
df

【玩转pandas系列】pandas数据结构—DataFrame,Python数据分析,数据分析,pandas,数据结构
然后使用 stack 函数将列索引变成行索引:

df.stack()

【玩转pandas系列】pandas数据结构—DataFrame,Python数据分析,数据分析,pandas,数据结构
和下列写法等价:

df.stack(level=-1)

将最外层列索引变成行索引:

df.stack(level=0)

【玩转pandas系列】pandas数据结构—DataFrame,Python数据分析,数据分析,pandas,数据结构

unstack:将行索引变成列索引(反堆叠),并且变成的列索引在最里层

还是使用上面的 dataframe 对象,进行反堆叠:

df.unstack()

【玩转pandas系列】pandas数据结构—DataFrame,Python数据分析,数据分析,pandas,数据结构

level 属性:level默认等于 -1 ,最外层是0,最往里数值越大,-1就是指最里层

fill_value 属性:是stack、unstack方法的属性,用于填充NaN值。

不填充空值时:

df.unstack(level=0)

【玩转pandas系列】pandas数据结构—DataFrame,Python数据分析,数据分析,pandas,数据结构
添加 fill_value 属性填充:

df.unstack(level=0,fill_value=0)

【玩转pandas系列】pandas数据结构—DataFrame,Python数据分析,数据分析,pandas,数据结构

六、聚合操作

dataframe 聚合操作就是指 dataframe 聚合函数,有 sum、mean、max、min 等,主要有两个属性:aixs 控制行列,level 控制层级

axis 属性:控制行列,axis = 0 表示行,axis = 1 表示列。

level 属性:控制层级,从外到里,依次增大,-1 表示最里层。

构造 dataframe 对象:

data = np.random.randint(0,100,size=(6,6))

index = pd.MultiIndex.from_arrays([
    ['一班','一班','一班','二班','二班','二班'],
    ['张三','李四','王五','赵六','孙七','王八']
])

columns = [
    ['期中','期中','期中','期末','期末','期末'],
    ['语文','数学','英语','语文','数学','英语']
]

df = pd.DataFrame(data=data,index=index,columns=columns)
df

【玩转pandas系列】pandas数据结构—DataFrame,Python数据分析,数据分析,pandas,数据结构
使用 sum 函数聚合:

df.sum()

【玩转pandas系列】pandas数据结构—DataFrame,Python数据分析,数据分析,pandas,数据结构
和下列写法等价:

df.sum(axis=0)

保留第一层列,求行的和:

df.sum(axis=1,level=0)

【玩转pandas系列】pandas数据结构—DataFrame,Python数据分析,数据分析,pandas,数据结构

结语

💕 本期跟大家分享的 “芝士” 就到此结束了,关于 DataFrame 数据结构,你学会了吗?✨

🍻 我是向阳花花花花,在学习的路上一直前行,期待与你一起进步。~ 🍻

🔥 如果文中有些地方不清楚的话,欢迎联系我,我会给大家提供思路及解答。🔥文章来源地址https://www.toymoban.com/news/detail-615366.html

相关导读

文章直达 链接
上期回顾 【数据分析 - 基础入门之pandas篇②】- pandas数据结构——Series

到了这里,关于【玩转pandas系列】pandas数据结构—DataFrame的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 【数据分析专栏之Python篇】五、pandas数据结构之Series

    大家好!本期跟大家分享的知识是 Pandas 数据结构—Series。 Series 是一种类似于一维数组的对象,由下面两部分组成: values :一组数据,ndarray 类型 index :数据索引 顾名思义 ,我们在创建 Series 对象时,需要传递一组数据,该数据大多数时候是可迭代对象。因此,下面三种创

    2024年02月14日
    浏览(56)
  • 【玩转pandas系列】数据清洗(文末送书)

    本文介绍在数据分析中如何使用 pandas 进行数据清洗,是 pandas 学习阶段的 重点 ,没有之一。 pandas中用于重复值检测的是 duplicated() 函数,可以用于检测行或列是否前后重复,返回值是 bool 类型。True 表示重复,False 表示不重复。 函数参数: keep :默认情况下 keep = first ,表

    2024年02月14日
    浏览(35)
  • python中Pandas之DataFrame索引、选取数据

    总结一下 DataFrame 索引问题 先创建一个简单的 DataFrame 。 DataFrame 中有两种索引: 行索引( index ):对应最左边那一竖列 列索引( columns ):对应最上面那一横行 两种索引默认均为从 0 开始的自增整数。 可以使用 index 这个参数指定行索引, columns 这个参数指定列索引。 输出此时

    2023年04月08日
    浏览(48)
  • 【Python】【pandas】打印 DataFrame 的每一列数据类型。

    可以使用 dtypes 属性来打印 DataFrame 的每一列数据类型。 dtypes 属性返回一个 Series,其中包含每个列的名称和对应的数据类型。 以下是打印 DataFrame 每一列数据类型的示例代码: 这将输出一个包含列名和数据类型的 Series。每一行都代表 DataFrame 的一列,列名作为索引,数据类

    2024年02月14日
    浏览(46)
  • 【python】pandas-DataFrame类型数据重命名列表头

    目录 0.环境 1.将DataFrame类型数据某一列重命名 windows + jupyter notebook + python  使用场景: 在处理数据对齐的问题时,两个表格的对齐列名不相同(一个数据集是DataFrame类型,一个数据集是geopandas类型),所以想修改一下DataFrame类型数据的某一列名字,特此记录分享 1)重命名前

    2024年02月14日
    浏览(57)
  • Python 之 Pandas DataFrame 数据类型的简介、创建的列操作

    DataFrame 是 Pandas 的重要数据结构之一,也是在使用 Pandas 进行数据分析过程中最常用的结构之一,可以这么说,掌握了 DataFrame 的用法,你就拥有了学习数据分析的基本能力。 DataFrame 是一个表格型的数据结构,既有行标签(index),又有列标签(columns),它也被称异构数据表

    2024年02月06日
    浏览(39)
  • python的pandas中如何在dataframe中插入一行或一列数据?

    dataframe类型是如何插入一行或一列数据的呢?这个需求在本文中将会进行讨论。相比较ndarray类型的同样的“数据插入”需求,dataframe的实现方式,则不是很好用。本文以一个dataframe类型变量为例,测试插入一行数据或者一列数据的方式方法。测试环境:win10,python@3.11.0,nu

    2024年02月03日
    浏览(64)
  • 4.11 Pandas中的DataFrame数据类型API函数参考手册(一) (Python)

    前言 Pandas 是一个专门用于数据处理和分析的 Python 库,它提供了众多强大的数据结构和函数,帮助用户更加轻松、高效地完成数据处理和分析任务。其中,DataFrame 数据类型是 Pandas 中非常重要的一种数据结构,可以方便地对二维表格数据进行操作、处理、统计和可视化等工作

    2024年02月10日
    浏览(47)
  • 【python】数据可视化,使用pandas.merge()对dataframe和geopandas类型数据进行数据对齐

    目录 0.环境 1.适用场景 2.pandas.merge()函数详细介绍 3.名词解释“数据对齐”(来自chatGPT3.5) 4.本文将给出两种数据对齐的例子 1)dataframe类型数据和dataframe类型数据对齐(对齐NAME列); 数据对齐前的两组数据集: 数据对齐后的数据集(通过pandas.merge()函数对齐): 代码 2)

    2024年02月09日
    浏览(49)
  • 08-pandas 入门-pandas的数据结构

    要使用pandas,你首先就得熟悉它的两个主要数据结构:Series和DataFrame。虽然它们并不能解决所有问题,但它们为大多数应用提供了一种可靠的、易于使用的基础。 Series是一种类似于一维数组的对象,它由一组数据(各种NumPy数据类型)以及一组与之相关的数据标签(即索引)

    2024年02月11日
    浏览(36)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包