pandas数据清洗——缺失值处理

这篇具有很好参考价值的文章主要介绍了pandas数据清洗——缺失值处理。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

查看缺失值

使用DataFrame对象的info()方法

pandas删除缺失值,机器学习,pandas,python,pandas,python
原始数据​​

注:NaN为空缺值

 查看是否有缺失值

print(df.info())  # 查看是否有缺失值

 pandas删除缺失值,机器学习,pandas,python,pandas,python

 Non-Null Count列显示的是每个索引中不是空缺的个数

判断数据是否存在缺失值

使用DataFrame的isnull()方法和notnull()方法

1. isnull()方法——判断是否为空,输出结果为True和False,不为NaN时返回False,为NaN时返回True。

print(df.isnull())  # 结果为True或False, 不为NaN时为False

 

pandas删除缺失值,机器学习,pandas,python,pandas,python

 

2. notnull()方法——判断是否不为空,输出结果也是True和False,为NaNcy时返回False,不为NaN时返回True。

 

print(df.notnull()) # 不为NaN时为True

pandas删除缺失值,机器学习,pandas,python,pandas,python

 

缺失值的处理方式

        1.不处理

        有的数据空着也不影响整体,所以就放那吧。。。。。

        2.删除

         可以使用dropna()函数,这个函数比较狂野,只要有一有个数据时空缺的,就会把整行删除

df = df.dropna()  #将所有含空缺值的行都删除

        3.填充或替换

df['课程总数量'] = df['课程总数量'].fillna(0)  # 把‘课程总数量’中为空的值填充为0,并赋值给‘课程总数量’
print(df)

pandas删除缺失值,机器学习,pandas,python,pandas,python

重复值处理

删除呗,见Pandas基本操作——增加、修改和删除

# 判断是否存在重复值,  值为True说明为重复值
print(df.duplicated())
print('---------------------------')
# 删除全部重复值
print(df.drop_duplicates())

# 删除指定列的重复数据,,,保留重复行的最后一行
print('---------删除指定列的重复数据---------')
print(df.drop_duplicates(['买家实际付款金额'],keep='last')) # 删除重复数据中的最后一条

# 直接删除,保留一个副本
df1 = df.drop_duplicates(['买家实际付款金额'],inplace=False)
print(df1)

 -----------------------------------算是对今天学的东西的总结了-----------------------------文章来源地址https://www.toymoban.com/news/detail-520370.html

到了这里,关于pandas数据清洗——缺失值处理的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 【python】数据挖掘分析清洗——缺失值处理方法汇总

    本文链接:https://blog.csdn.net/weixin_47058355/article/details/128866686 数据挖掘系列: 缺失值处理方法汇总 离散化方法汇总 离群点(异常值)处理方法汇总 标准化(数据归一化)处理方法汇总 特征选择(特征筛选)方法汇总 特征选择筛选(降维)方法汇总 分类预测方法汇总 看了下网络上做

    2024年02月02日
    浏览(35)
  • 【100天精通Python】Day56:Python 数据分析_Pandas数据清洗和处理

    目录 数据清洗和处理 1.处理缺失值 1.1 删除缺失值: 1.2  填充缺失值: 1.3 插值: 2 数据类型转换 2.1 数据类型转换 2.2 日期和时间的转换: 2.3 分类数据的转换: 2.4 自定义数据类型的转换: 3 数据去重 4 数据合并和连接 数据清洗和处理         在数据清洗和处理方面,

    2024年02月09日
    浏览(45)
  • 利用Python进行数据清洗与预处理:Pandas的高级用法【第147篇—Pandas的高级用法】

    前些天发现了一个巨牛的人工智能学习网站,通俗易懂,风趣幽默,忍不住分享一下给大家。【点击进入巨牛的人工智能学习网站】。 在数据科学和机器学习领域,数据清洗和预处理是至关重要的步骤。Pandas库作为Python中最受欢迎的数据处理工具之一,提供了强大的功能来处

    2024年04月09日
    浏览(88)
  • <2>【深度学习 × PyTorch】pandas | 数据预处理 | 处理缺失值:插值法 | networkx模块绘制知识图谱 | 线性代数初步

      你永远不可能真正的去了解一个人,除非你穿过ta的鞋子,走过ta走过的路,站在ta的角度思考问题,可当你真正走过ta走过的路时,你连路过都会觉得难过。有时候你所看到的,并非事实真相,你了解的,不过是浮在水面上的冰山一角。—————《杀死一只知更鸟》   🎯

    2024年02月01日
    浏览(36)
  • 【机器学习5】数据处理(二)Pandas:表格处理

    Pandas提供了三种数据类型,分别是 Series 、 DataFrame 和 Panel 。Series用于保存一维数据,DataFrame用于保存二维数据,Panel用于保存三维数据或者可变维数据。平时的表格处理数据分析最常用的数据类型是 Series 和 DataFrame ,Panel较少用到。 Series本质上是一个含有索引的 一维数组

    2024年02月13日
    浏览(31)
  • 【第三章 Python 机器学习入门之Series和DataFrame的创建、索引、切片、数据清洗、数据分析等】

    第一章 Python 机器学习入门之Pandas库的使用 第二章 Python 机器学习入门之NumPy库的使用 第四章 Python 机器学习入门之数据可视化 第五章 Python 机器学习入门之机器学习算法 第六章 Python 机器学习入门之实战项目 Series是一种一维数组,可以通过以下方式创建: 通过列表创建Ser

    2024年02月05日
    浏览(41)
  • 机器学习案例:运营商客户流失的数据分析 #数据去重#数据分组整合#缺失值处理#相关性分析#样本平衡#决策树、随机森林、逻辑回归

    前提: 随着业务快速发展、电信市场的竞争愈演愈烈。如何最大程度地挽留在网用户、吸取新客户,是电信企业最 关注的问题之一。 客户流失 会给企业带来一系列损失,故在发展用户每月增加的同时,如何挽留和争取更多 的用户,也是一项非常重要的工作。 能否利用大数

    2024年02月08日
    浏览(36)
  • 机器翻译的大数据挑战:数据清洗与处理

    机器翻译是人工智能领域的一个重要研究方向,其目标是让计算机能够自动地将一种自然语言翻译成另一种自然语言。随着大数据时代的到来,机器翻译面临着巨大的数据挑战。这篇文章将从数据清洗和处理的角度探讨机器翻译的大数据挑战。 机器翻译具有广泛的应用,例如

    2024年04月15日
    浏览(45)
  • 数据分析缺失值处理(Missing Values)——删除法、填充法、插值法

    缺失值指数据集中某些变量的值有缺少的情况,缺失值也被称为NA(not available)值。在pandas里使用浮点值NaN(Not a Number)表示浮点数和非浮点数中的缺失值,用NaT表示时间序列中的缺失值,此外python内置的None值也会被当作是缺失值。需要注意的是,有些缺失值也会以其他形式

    2024年02月05日
    浏览(39)
  • pandas 缺失值、异常值提取和处理

    遍历每列 - 列长是否小于总长 -缺失值所在行: df[\\\'列名\\\'][df[\\\'列名‘].isnull().values==True ] 1. 缺失值处理 dropna()删除缺失值 使用 fillna() 方法填充缺失值,可以使用指定的值、前一个有效值、后一个有效值或者均值、中位数等。 最后一行的边界情况指的是第一行、最后一行等情况

    2024年02月19日
    浏览(26)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包