Pandas库使用教程

这篇具有很好参考价值的文章主要介绍了Pandas库使用教程。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

Pandas

Pandas是一个强大的Python库,用于数据处理和分析,它提供了灵活的数据结构和数据操作功能,非常适合处理各种数据源,如CSV文件、Excel表格、SQL数据库等。

目录

  1. 介绍
  2. 安装
  3. 基本数据结构
    Series
    DataFrame
  4. 数据读取与写入
    读取csv、excel等文件数据
    写入csv、excel等文件数据
  5. 数据选择与操作
    切片和索引
    数据过滤
    数据排序
  6. 数据统计与分析
    描述性统计
    数据聚合
  7. 数据可视化
  8. 结论

1. 介绍

Pandas是一个强大的数据处理和分析库,它构建在NumPy之上,提供了更高级的数据结构和数据操作功能,使数据清洗、分析和可视化变得更容易。它的两个主要数据结构是Series和DataFrame,可以用于处理各种类型的数据。

2. 安装

pip install pandas

3. 基本数据结构

Series

Series是一维标记数组,可以存储各种数据类型。你可以将Series视为带有标签的数组或字典。

import pandas as pd

data = pd.Series([10, 20, 30, 40, 50])
print(data)
DataFrame

DataFrame是一个二维数据结构,类似于电子表格或SQL表。它由行和列组成,每列可以包含不同类型的数据。

import pandas as pd

data = pd.DataFrame({
    'Name': ['Alice', 'Bob', 'Charlie'],
    'Age': [25, 30, 35]
})
print(data)
#  Name, Age
#0,Alice,25
#1,Bob,30
#2,Charlie,35

import pandas as pd

data = [['Google',10],['Runoob',12],['Wiki',13]]
df = pd.DataFrame(data,columns=['Site','Age'],dtype=float)
print(df)

#     Site   Age
#0  Google  10.0
#1  Runoob  12.0
#2    Wiki  13.0
遍历
使用for循环遍历行(常用):

这种方法逐行遍历DataFrame,返回每行的索引和数据。iterrows()方法返回一个生成器,逐行返回每一行的数据

import pandas as pd

data = pd.DataFrame({
    'Name': ['Alice', 'Bob', 'Charlie'],
    'Age': [25, 30, 35]
})

for index, row in data.iterrows():
    print(f'Index: {index}, Name: {row["Name"]}, Age: {row["Age"]}')
#Index: 0, Name: Alice, Age: 25
#Index: 1, Name: Bob, Age: 30
#Index: 2, Name: Charlie, Age: 35
使用itertuples()方法遍历行:
for row in data.itertuples():
    print(f'Index: {row.Index}, Name: {row.Name}, Age: {row.Age}')
#Index: 0, Name: Alice, Age: 25
#Index: 1, Name: Bob, Age: 30
#Index: 2, Name: Charlie, Age: 35
使用apply()方法遍历列:

apply()方法可以用于对每一行或每一列的数据应用自定义函数。

def process_data(row):
    return f'Name: {row["Name"]}, Age: {row["Age"]}'

data['Info'] = data.apply(process_data, axis=1)
print(data['Info'])
#0      Name: Alice, Age: 25
#1        Name: Bob, Age: 30
#2    Name: Charlie, Age: 35
#Name: Info, dtype: object

4. 数据读取与写入

读取CSV文件数据

Pandas可以轻松读取各种数据格式,包括CSV文件:

import pandas as pd

data = pd.read_csv('data.csv')
print(data.head())  # 查看前几行数据

写入CSV文件数据

你也可以将数据保存到CSV文件:

import pandas as pd

data = pd.DataFrame({
    'Name': ['Alice', 'Bob', 'Charlie'],
    'Age': [25, 30, 35]
})
data.to_csv('output.csv', index=False)  # 将数据保存到output.csv文件
读取json数据
[
   {
   "id": "A001",
   "name": "baidu",
   "url": "https://www.baidu.com/",
   "likes": 61
   },
   {
   "id": "A002",
   "name": "Google",
   "url": "https://www.google.com",
   "likes": 124
   },
   {
   "id": "A003",
   "name": "taobao",
   "url": "www.taobao.com",
   "likes": 45
   }
]

to_string() 用于返回 DataFrame 类型的数据,我们也可以直接处理 JSON 字符串。

import pandas as pd

df = pd.read_json('sites.json')
print(df.to_string())
# id    name                     url  likes
#0  A001   baidu  https://www.baidu.com/     61
#1  A002  Google  https://www.google.com    124
#2  A003  taobao          www.taobao.com     45

df = pd.DataFrame(data)

JSON 对象与 Python 字典具有相同的格式,所以我们可以直接将 Python 字典转化为 DataFrame 数据:

import pandas as pd

# 字典格式的 JSON
data_dict = {
    "col1":{"row1":1,"row2":2,"row3":3},
    "col2":{"row1":"x","row2":"y","row3":"z"}
}

# 读取 JSON 转为 DataFrame
df = pd.DataFrame(data_dict)
print(df)
#      col1 col2
#row1     1    x
#row2     2    y
#row3     3    z

内嵌的 JSON 数据

假设有一组内嵌的 JSON 数据文件 nested_list.json :

# nested_list.json
{
    "school_name": "ABC primary school",
    "class": "Year 1",
    "students": [
    {
        "id": "A001",
        "name": "Tom",
        "math": 60,
        "physics": 66,
        "chemistry": 61
    },
    {
        "id": "A002",
        "name": "James",
        "math": 89,
        "physics": 76,
        "chemistry": 51
    },
    {
        "id": "A003",
        "name": "Jenny",
        "math": 79,
        "physics": 90,
        "chemistry": 78
    }]
}
import pandas as pd

df = pd.read_json('nested_list.json')

df
#          school_name   class                                           students
#0  ABC primary school  Year 1  {'id': 'A001', 'name': 'Tom', 'math': 60, 'phy...
#1  ABC primary school  Year 1  {'id': 'A002', 'name': 'James', 'math': 89, 'p...
#2  ABC primary school  Year 1  {'id': 'A003', 'name': 'Jenny', 'math': 79, 'p...

这时我们就需要使用到 json_normalize() 方法将内嵌的数据完整的解析出来:

import pandas as pd
import json

# 使用 Python JSON 模块载入数据
with open('nested_list.json','r') as f:
    data = json.loads(f.read())

# 展平数据
df_nested_list = pd.json_normalize(data, record_path =['students'])
print(df_nested_list)
#     id   name  math  physics  chemistry
#0  A001    Tom    60       66         61
#1  A002  James    89       76         51
#2  A003  Jenny    79       90         78

data = json.loads(f.read()) 使用 Python JSON 模块载入数据。
json_normalize() 使用了参数 record_path 并设置为 [‘students’] 用于展开内嵌的 JSON 数据 students。
显示结果还没有包含 school_name 和 class 元素,如果需要展示出来可以使用 meta 参数来显示这些元数据:

import pandas as pd
import json

# 使用 Python JSON 模块载入数据
with open('nested_list.json','r') as f:
    data = json.loads(f.read())

# 展平数据
df_nested_list = pd.json_normalize(
    data,
    record_path =['students'],
    meta=['school_name', 'class']
)
print(df_nested_list)
#     id   name  math  physics  chemistry         school_name   class
#0  A001    Tom    60       66         61  ABC primary school  Year 1
#1  A002  James    89       76         51  ABC primary school  Year 1
#2  A003  Jenny    79       90         78  ABC primary school  Year 1

接下来,让我们尝试读取更复杂的 JSON 数据,该数据嵌套了列表和字典,数据文件 nested_mix.json 如下:

{
    "school_name": "local primary school",
    "class": "Year 1",
    "info": {
      "president": "John Kasich",
      "address": "ABC road, London, UK",
      "contacts": {
        "email": "admin@e.com",
        "tel": "123456789"
      }
    },
    "students": [
    {
        "id": "A001",
        "name": "Tom",
        "math": 60,
        "physics": 66,
        "chemistry": 61
    },
    {
        "id": "A002",
        "name": "James",
        "math": 89,
        "physics": 76,
        "chemistry": 51
    },
    {
        "id": "A003",
        "name": "Jenny",
        "math": 79,
        "physics": 90,
        "chemistry": 78
    }]
}

nested_mix.json 文件转换为 DataFrame:

import pandas as pd
import json

# 使用 Python JSON 模块载入数据
with open('nested_mix.json','r') as f:
    data = json.loads(f.read())

df = pd.json_normalize(
    data,
    record_path =['students'],
    meta=[
        'class',
        ['info', 'president'],
        ['info', 'contacts', 'tel']
    ]
)

df
#     id   name  math  physics  chemistry   class info.president info.contacts.tel
#0  A001    Tom    60       66         61  Year 1    John Kasich         123456789
#1  A002  James    89       76         51  Year 1    John Kasich         123456789
#2  A003  Jenny    79       90         78  Year 1    John Kasich         123456789

读取内嵌数据中的一组数据
以下是实例文件 nested_deep.json,我们只读取内嵌中的 math 字段:

5. 数据选择与操作

切片和索引

你可以使用标签或位置来选择数据:

import pandas as pd

data = pd.DataFrame({
    'Name': ['Alice', 'Bob', 'Charlie'],
    'Age': [25, 30, 35]
})

# 使用标签选择数据
print(data['Name'])
print("+++"*10)
# 使用位置选择数据
print(data.iloc[0])

#0      Alice
#1        Bob
#2    Charlie
#Name: Name, dtype: object
#++++++++++++++++++++++++++++++
#Name    Alice
#Age        25
#Name: 0, dtype: object
数据过滤

你可以根据条件过滤数据:

import pandas as pd

data = pd.DataFrame({
    'Name': ['Alice', 'Bob', 'Charlie'],
    'Age': [25, 30, 35]
})

filtered_data = data[data['Age'] > 30]
print(filtered_data)

#      Name  Age
#2  Charlie   35
数据排序

对数据进行排序:

import pandas as pd

data = pd.DataFrame({
    'Name': ['Alice', 'Bob', 'Charlie'],
    'Age': [25, 30, 35]
})

sorted_data = data.sort_values(by='Age', ascending=False)
print(sorted_data)

#      Name  Age
#2  Charlie   35
#1      Bob   30
#0    Alice   25

6. 数据统计与分析

描述性统计

Pandas提供了各种描述性统计方法,如mean、median、std等:

import pandas as pd

data = pd.DataFrame({
    'Age': [25, 30, 35, 40, 45]
})

print(data.mean())  # 计算平均值
print(data.median())  # 计算中位数
print(data.std())  # 计算标准差
#Age    35.0
#dtype: float64
#Age    35.0
#dtype: float64
#Age    7.905694
#dtype: float64
数据聚合

你可以使用groupby方法对数据进行聚合操作:

import pandas as pd

data = pd.DataFrame({
    'Category': ['A', 'B', 'A', 'B', 'A'],
    'Value': [10, 20, 15, 25, 30]
})

grouped_data = data.groupby('Category').sum()
print(grouped_data)

#         Value
#Category       
#A            55
#B            45

7. 数据可视化

Pandas结合其他库如Matplotlib和Seaborn可以用于数据可视化。这里只提供一个简单示例:

import pandas as pd
import matplotlib.pyplot as plt

data = pd.DataFrame({
    'Year': [2010, 2011, 2012, 2013, 2014],
    'Sales': [100, 150, 200, 250, 300]
})

data.plot(x='Year', y='Sales', kind='line')
plt.show()

最后

Pandas是一个强大的Python库,用于数据处理和分析。本教程涵盖了Pandas的基本数据结构、数据读写、数据操作、统计分析和简单可视化。希望这个教程能帮助你入门Pandas,并在数据处理工作中发挥作用。如果你想深入学习Pandas,可以查看Pandas官方文档和更高级的教程。

参考文献:文章来源地址https://www.toymoban.com/news/detail-707406.html

  1. https://www.runoob.com/pandas/pandas-json.html

到了这里,关于Pandas库使用教程的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • Pandas 简单入门教程

    什么是Pandas? Pandas是一个开源的Python数据分析库,它提供了快速、灵活、易于使用的数据结构,旨在使数据清洗和分析变得简单快捷。 安装Pandas 你可以使用以下命令来安装Pandas: 导入Pandas 要使用Pandas,你需要将其导入到Python环境中: 数据结构 Pandas提供了两种数据结构: Se

    2023年04月20日
    浏览(45)
  • Pandas 2.2 中文官方教程和指南(十七)

    原文: pandas.pydata.org/docs/ 原文: pandas.pydata.org/docs/user_guide/duplicates.html Index 对象不需要是唯一的;你可以有重复的行或列标签。这一点可能一开始会有点困惑。如果你熟悉 SQL,你会知道行标签类似于表上的主键,你绝不希望在 SQL 表中有重复项。但 pandas 的一个作用是在数据

    2024年04月25日
    浏览(227)
  • Pandas 2.2 中文官方教程和指南(九·三)

    重新索引以与另一个对象对齐 你可能希望取一个对象并重新索引其轴,使其标签与另一个对象相同。虽然这个操作的语法虽然冗长但简单,但它是一个常见的操作,因此 reindex_like() 方法可用于简化此操作: 对于 DataFrames,默认情况下,连接方法将应用于索引和列: 你还可以

    2024年04月27日
    浏览(20)
  • Pycharm安装Sklearn、Pandas库保姆级教程

    第一步:进入开始菜单栏下的Anconda Prompt界面 第二步:进入pytorch环境,代码如下:  conda activate pytorch 第三步:输入conda list 可以查看是否安装Sklearn库和Pandas库  该环境下目前不存在Sklearn库和Pandas库  第四步:安装Sklearn库,代码如下: pip install scikit-learn -i https://pypi.tuna.ts

    2023年04月12日
    浏览(37)
  • Pandas数据处理与分析教程:从基础到实战

    在数据分析和数据科学领域,Pandas是Python编程语言中最受欢迎的数据处理库之一。它提供了高效、灵活和易于使用的数据结构,使得数据的清洗、转换和分析变得简单而直观。本教程将详细介绍Pandas的各个方面,包括基本的数据结构、数据操作、数据过滤和排序、数据聚合与

    2024年02月10日
    浏览(46)
  • 【python教程入门学习】Pandas库下载、安装和更新

    Windows系统 win+R 打开命令提示符,进入cmd命令提示符 pip install pandas 提示pip需要更新 按照提示输入以下代码 pip install --upgrade pip  检查是否安装完成 python -m pip list   进入python,输入import pandas,看是否报错,如果不报错,说明安装成功。 python import pandas  安装成功!!

    2024年02月14日
    浏览(44)
  • chatgpt赋能python:Python下载Pandas库教程

    Pandas是用于数据处理和数据分析的Python库,它提供了快速,灵活和全面的数据结构,如Series和DataFrame,使数据清理,分析和处理变得更加娴熟。 Pandas库是数据科学项目的必备工具。无论您是在进行探索性数据分析,数据可视化,特征工程还是建模方面使用Python,您都需要使用

    2024年02月09日
    浏览(52)
  • 【pandas使用技巧】pandas中空值的处理方法

    在pandas中,可以使用fillna()方法对DataFrame中的空值进行处理。fillna()方法可以接受一个参数,用于指定如何填充空值。以下是一些常用的填充方式: 使用固定值填充:fillna(value) 使用前一个非空值填充:fillna(method=‘ffill’) 使用后一个非空值填充:fillna(method=‘bfill’) 使用平均

    2024年02月15日
    浏览(47)
  • 【pandas使用技巧】如何用pandas拼接excel的多个sheet

    加入excel文件有多个sheet,同时sheet的表头都一致,可使用pandas库中的concat()方法将多个sheet拼接成一个DataFrame,栗子如下: 在代码中,使用pd.read_excel()方法读取Excel文件中的所有sheet,返回一个字典类型的对象,其中键为sheet名,值为DataFrame。然后使用pd.concat()方法将所有DataF

    2024年02月14日
    浏览(44)
  • 《Python数据分析技术栈》第06章使用 Pandas 准备数据 01 Pandas概览(Pandas at a glance)

    《Python数据分析技术栈》第06章使用 Pandas 准备数据 01 Pandas概览(Pandas at a glance) Wes McKinney developed the Pandas library in 2008. The name (Pandas) comes from the term “Panel Data” used in econometrics for analyzing time-series data. Pandas has many features, listed in the following, that make it a popular tool for data wrang

    2024年01月23日
    浏览(46)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包