「Python｜Pandas｜场景案例」如何只保留DataFrame数据集的某些列（要保留的列不固定）-Toy模板网

这篇具有很好参考价值的文章主要介绍了「Python｜Pandas｜场景案例」如何只保留DataFrame数据集的某些列（要保留的列不固定）。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

本文主要介绍在使用pandas进行数据分析过程中的数据预处理时，如果希望仅保留某些列的数据需要如何操作。同时介绍一些特殊情况，比如列是用变量存储；或者列是一个全集，处理的数据集中不一定包括列出的全部列名。

场景说明

在数据处理的时候，可能会遇到数据集包含的数据字段并不是全部会用到，甚至有些用不到的字段内容较多，在存储上会占用较多空间，在读取和使用上可能会影响性能，所以需要考虑丢弃用不到的字段，仅保留需要使用的字段。
同时，我们可能遇到一些稍微复杂一点的场景，比如：

你想写一套通用程序来处理不同数据集。这些数据集对应相同类型但是不同场景，所以要使用的字段可能是作为变量传入的
你使用的数据集因为业务发生变化或者扩展到多个业务场景，不同场景使用同一个数据集，但使用到的字段集合不同
你使用的数据集来自爬虫，爬取的数据源网站会不断改版，能获取的到的数据字段可能发生变化

这就要求能够使用变量存储要使用的字段，同时数据集中的字段就算没有包含全部指定字段，也不能抛出KeyError之类的处理错误。

解决方案

基本使用

假设我们的数据集有四列，分别是col_1, col_2, col_3, col_4
python数据分析的预处理过程中常用的是pandas库，pandas库中对这种保留指定列/丢弃指定列有对应的写法和函数：

只保留两列 col_1 和 col_2
df = df[['col_1', 'col_2']]
丢弃col_3这一列
df = df.drop(['col_3', 'col_4'], axis=1)

加入变量

用变量把字段集合存储起来就可以改成：

fileds_to_use = ['col_1', 'col_2']

# 只保留两列 `col_1` 和 `col_2` 
df = df[ fileds_to_use ]

# 丢弃`col_3`这一列
fields_to_drop = set(df.columns) - set(fileds_to_use)
df = df.drop(fields_to_drop, axis=1)

考虑数据集没有包含全部目标字段的情况

如果我们的数据集字段只有col_1, col_3, col_4三列，我们要使用的还是col_1, col_2两列，那么：

尝试drop用不到的col_3和col_4不会出错
但是尝试用df[ fileds_to_use ]会因为数据集里没有col_2而抛出KeyError: "['col_2'] not in index"的错误

解决这个问题本质上就是加一层检查，只有字段在数据集包含的列名中，才进行保留，可以自己写，也可以调用pandas的函数，如下：

# 自己写一个过滤
fileds_to_use  = ['col_1', 'col_2']
fileds_set = set(fileds_to_use)
column_to_use = [column for column in df.columns if column in fileds_set]
df = df[ column_to_use ]

# 调用 pandas 的函数
column_to_use = df.columns[ df.columns.isin(fileds_to_use) ]
df = df[ column_to_use  ]

# 因为 pandas 还有取反操作，所以额外说一下drop可以有下面这种写法
column_to_drop = df.columns[ ~df.columns.isin(fileds_to_use) ]
df = df.drop(column_to_drop, axis=1)