python数据处理—None/NULL/NaN的理解及实际应用情况

这篇具有很好参考价值的文章主要介绍了python数据处理—None/NULL/NaN的理解及实际应用情况。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。


一、python中None、null和NaN

注意:python中没有null,只有和其意义相近的None。

1、None

1)数据类型
None表示空值,一个特殊Python对象,None的类型是NoneType。
None是NoneType数据类型的唯一值,我们不能创建其它NoneType类型的变量,但是可以将None赋值给任何变量。

type(None) #该值是一个空对象,空值是python里面一个特殊的值,用None表示。None不能理解为0,因为0是有意义,而None是一个特殊的空值。
type('')

python空字符串none,python数据分析基础知识,python,pandas,开发语言
2)特征:

  • None不支持任何运算
  • None和任何其他数据类型比较永远返回False
  • None有自己的数据类型NoneType,不能创建其他NoneType对象。(它只有一个值None)
  • None与0、空列表、空字符串不一样。
  • None赋值给任何变量,也可以给None值变量赋值
  • None没有像len、size等属性,要判断一个变量是否为None,直接使用。
None==0 
None==‘’
None==False
dir(None) #返回参数属性、方法列表

python空字符串none,python数据分析基础知识,python,pandas,开发语言

3)作为没有return关键函数的返回值

对于所有没有return语句的函数定义,python都会在末尾加上return None,使用不带值的return语句(也就是只有return关键字本身),那么就返回None。

def fun1():
	print('test')
result=fun()
print(result)

python空字符串none,python数据分析基础知识,python,pandas,开发语言

2、NaN

1)当使用Numpy或者Pandas处理数据的时候,会自动将条目中没有数据转换为NaN。

import pandas as pd
df=pd.read_csv('F:\\python_test\\demo.csv',header=None)
print(df)

原数据为下图:
python空字符串none,python数据分析基础知识,python,pandas,开发语言
python空字符串none,python数据分析基础知识,python,pandas,开发语言
2)特征

  • NaN是没有办法和任何数据进行比较
  • 它和任何值都不相等,包括他自己。
  • 它的数类型是float,但是和任何值做计算的结果都是NaN
frame= pd.DataFrame([[1, 2, 3], 
                    [2, 3, 4],
                    [3, 4, np.nan]],
                   index=list('abc'), columns=list('ABC'))
num=frame.iloc[2,2]
result=num+2
result

python空字符串none,python数据分析基础知识,python,pandas,开发语言


二、实际应用

1、使用read_sql读取null数据显示NaN

使用hive进行数据清洗、特征处理后,用python读取hive数据库下的整理好的表。一般使用pyhive连续数据库,pandas读取数据。

pandas读取hive数据库下面的数据表

1、如果数据表字段为string格式,pandas读取后在python中该字段数据格式为object,如果该字段中含有 NULL 值,读取会直接转换成字符串** ‘NULL’ **,如果该字段中含有’'(空值),读取直接转换成字符串 ** ‘’ **。
2、如果数据表字段为int格式,pandas读取后在python中该字段数据格式为float64,如果该字段中含有 NULL 值或者 ‘’(空值),读取直接转换成字符串 NaN


如果数据库表的字段为string,字段中含NULL,多数意义就是默认为空值或者异常数值,使用pd.DataFrame或者read_sql()读取,默认为字符串‘NULL’。因此对此进行数值处理会导致很多报错(比如ValueError: could not convert string to float: ‘NULL’),比如想要在python转换数据类型的时候,或者想要对null进行缺失值填充等等。因此想要将“NULL”转换成“NaN”,后续更加方便。

from pyhive import hive
import pandas as pd
import numpy as np

#缺失值统计
def na_count(data):
    data_count=data.count()
    na_count=len(data)-data_count
    na_rate=na_count/len(data)
    na_result=pd.concat([data_count,na_count,na_rate],axis=1)
    return na_result


sql='''select is_vice_card,online_days,age,payment_type
,star_level_int,cert_cnt,channel_nbr,payment_method_variable,package_price_group,white_flag
 from database.v1_6_501_train_test'''
 
con=hive.connect(host='b1m6.hdp.dc',port=10000,auth='KERBEROS',kerberos_service_name="hive") 
cursor=con.cursor()
cursor.execute(sql) #执行sql
result=cursor.fetchall()
data_pos_1=pd.DataFrame(result,columns=['is_vice_card',
		'online_days',
		'calling_cnt',
		'age',
		'payment_type',
		'star_level_int',
		'cert_cnt',
		'channel_nbr',
		'payment_method_variable',
		'package_price_group'])

print("未将‘NULL’替换成np.nan,查看train_data的缺失值:\n",na_count(data_pos_1))

#将str字段中的null转换成空值		
data_pos_1.loc[data_pos_1['is_vice_card']=='NULL','is_vice_card'] = np.nan
data_pos_1.loc[data_pos_1['online_days']=='NULL','online_days'] = np.nan
data_pos_1.loc[data_pos_1['age']=='NULL','age'] = np.nan
data_pos_1.loc[data_pos_1['payment_type']=='NULL','payment_type'] = np.nan
data_pos_1.loc[data_pos_1['star_level_int']=='NULL','star_level_int'] = np.nan
data_pos_1.loc[data_pos_1['cert_cnt']=='NULL','cert_cnt'] = np.nan
data_pos_1.loc[data_pos_1['channel_nbr']=='NULL','channel_nbr'] = np.nan
data_pos_1.loc[data_pos_1['payment_method_variable']=='NULL','payment_method_variable'] = np.nan
data_pos_1.loc[data_pos_1['package_price_group']=='NULL','package_price_group'] = np.nan

print("将‘NULL’替换成np.nan,查看train_data的缺失值:\n",na_count(data_pos_1))

运行代码,结果显示:

查看未将“NULL”替换成np.nan,data_pos_1的缺失值:
                             0  1    2
is_vice_card             8289  0  0.0
online_days              8289  0  0.0
calling_cnt              8289  0  0.0
age                      8289  0  0.0
payment_type             8289  0  0.0
star_level_int           8289  0  0.0
cert_cnt                 8289  0  0.0
channel_nbr              8289  0  0.0
payment_method_variable  8289  0  0.0
package_price_group      8289  0  0.0

查看将“NULL”替换成np.nan,data_pos_1的缺失值:;
                             0     1         2
is_vice_card             7854   435  0.052479
online_days              7854   435  0.052479
calling_cnt              8289     0  0.000000
age                      7854   435  0.052479
payment_type             7854   435  0.052479
star_level_int           7830   459  0.055375
cert_cnt                 6134  2155  0.259983
channel_nbr              7847   442  0.053324
payment_method_variable  7890   399  0.048136
package_price_group      8289     0  0.000000

也可以在数据库表建立将字段设置为int。

2、使用read_csv读取null数据显示为字符串null

一般默认为NaN

import pandas as pd
data_pos=pd.read_csv(file_pos,encoding='utf-8')
data_pos.head(10)

python空字符串none,python数据分析基础知识,python,pandas,开发语言
显示为字符串为null

import pandas as pd
data_pos=pd.read_csv(file_pos,encoding='utf-8', na_filter=False)
#或
data_pos=pd.read_csv(file_pos,encoding='utf-8', keep_default_na=False)

#查看data_pos数据格式
data_pos[data_pos['online_days']=='NULL'].head(10)

python空字符串none,python数据分析基础知识,python,pandas,开发语言文章来源地址https://www.toymoban.com/news/detail-707717.html

到了这里,关于python数据处理—None/NULL/NaN的理解及实际应用情况的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 数据存储和分布式计算的实际应用:如何使用Spark和Flink进行数据处理和分析

    作为一名人工智能专家,程序员和软件架构师,我经常涉及到数据处理和分析。在当前大数据和云计算的时代,分布式计算已经成为了一个重要的技术方向。Spark和Flink是当前比较流行的分布式计算框架,它们提供了强大的分布式计算和数据分析功能,为数据处理和分析提供了

    2024年02月16日
    浏览(62)
  • 分享18个用于处理 null、NaN 和undefined 的 JS 代码片段

    🎬 岸边的风 :个人主页  🔥 个人专栏 :《 VUE 》 《 javaScript 》 ⛺️生活的理想,就是为了理想的生活! 目录 前言 内容 📟 1. 检查是否为null: 📟 2. 检查undefined: 📟 3. 检查 NaN: 📟 4. 如果为 null 或undefined则默认为某个值: 📟 5. 如果为 NaN,则默认为一个值: 📟 6. 将

    2024年02月16日
    浏览(45)
  • SQL 中的 NULL 值:定义、测试和处理空数据,以及 SQL UPDATE 语句的使用

    什么是 NULL 值? NULL 值是指字段没有值的情况。如果表中的字段是可选的,那么可以插入新记录或更新记录而不向该字段添加值。此时,该字段将保存为 NULL 值。需要注意的是,NULL 值与零值或包含空格的字段不同。具有 NULL 值的字段是在记录创建期间留空的字段。 如何测试

    2024年02月05日
    浏览(52)
  • ​理解 Spark 写入 API 的数据处理能力

    这张图解释了 Apache Spark DataFrame 写入 API 的流程。它始于对写入数据的 API 调用,支持的格式包括 CSV、JSON 或 Parquet。流程根据选择的保存模式(追加、覆盖、忽略或报错)而分岔。每种模式执行必要的检查和操作,例如分区和数据写入处理。流程以数据的最终写入或错误结束

    2024年02月03日
    浏览(47)
  • “深入理解SpringMVC的JSON数据返回和异常处理机制“

    在现代Web开发中,SpringMVC是一个广泛使用的框架,它提供了丰富的功能和灵活的配置选项。本文将深入探讨两个重要的主题:SpringMVC中的JSON数据返回和异常处理机制。我们将逐步介绍相关的配置和使用方法,并通过案例和综合实例来加深理解。 1.1 导入依赖 1.2 配置弹簧-MVC

    2024年02月08日
    浏览(34)
  • 自然语言处理实战项目11-阅读理解项目的数据处理与训练详细讲解,实验结果与分析

    大家好,我是微学AI,今天给大家介绍一下自然语言处理实战项目11-阅读理解项目的数据处理与训练详细讲解,阅读理解任务目标是让计算机从给定的文章中理解并回答问题。为了完成这个任务,我们需要对给定的数据进行处理和训练。该任务是一个涉及多个步骤和技术的复

    2024年02月09日
    浏览(57)
  • 深入理解机器学习——数据预处理:归一化 (Normalization)与标准化 (Standardization)

    分类目录:《深入理解机器学习》总目录 归一化 (Normalization)和标准化 (Standardization)都是特征缩放的方法。特征缩放是机器学习预处理数据中最重要的步骤之一,可以加快梯度下降,也可以消除不同量纲之间的差异并提升模型精度。 归一化(Normalization)是将一组数据变

    2024年02月08日
    浏览(45)
  • 【天衍系列 01】深入理解Flink的 FileSource 组件:实现大规模数据文件处理

    Apache Flink 是一个流式处理框架,被广泛应用于大数据领域的实时数据处理和分析任务中。在 Flink 中,FileSource 是一个重要的组件,用于从文件系统中读取数据并将其转换为 Flink 的数据流。本文将深入探讨 FileSource 的工作原理、用法以及与其他数据源的比较。 FileSource 是 Fli

    2024年02月21日
    浏览(53)
  • 深入理解图形处理器(GPU):加速人工智能和大数据计算的引擎

    前言: 图形处理器(GPU)不再仅仅是用于图形渲染的硬件设备。如今,GPU已经成为加速人工智能、大数据计算和科学研究的关键引擎。本文将深入探讨GPU的工作原理、应用领域以及它在当今技术领域中的重要性。 GPU(Graphics processing unit)是一种专门设计用于处理图形和图像

    2024年04月15日
    浏览(49)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包