头歌：数据预处理之数据清洗-Toy模板网

这篇具有很好参考价值的文章主要介绍了头歌：数据预处理之数据清洗。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

本关任务：完成泰坦尼克号遇难数据的清洗。

案例背景

泰坦尼克号遭遇的灾难震惊世界，如何避免灾难甚至预测灾难呢？要实现首先要做好泰坦尼克号的损失数据统计，才能为数据分析打下基础。

编程要求

根据提示，你需要完成：文章来源地址https://www.toymoban.com/news/detail-509371.html

缺失值填充
离群点检测

import numpy as np  
import pandas as pd  
#读取数据  
df=pd.read_csv('/data/workspace/myshixun/step1/train.csv')
##### begin #####  
#查看列中是否存在空值  
temp=df.isnull().any()   
print(temp)
#使用SimpleImputer取出缺失值所在列的数值，sklearn当中特征矩阵必须是二维才能传入 使用reshape(-1,1)升维  
age=df['Age'].values.reshape(-1,1)    
#导入模块  
from sklearn.impute import SimpleImputer   
#实例化，均值填充,可改变strategy参数，实现其他填充方式  
imp_mean=SimpleImputer(missing_values=np.nan,strategy='mean')    
#fit_transform一步完成调取结果  
imp_mean=imp_mean.fit_transform(age)   
#填充好的数据传回到 data['Age']列  
df_fillna=df  
df_fillna['Age']=imp_mean  
#检验是否还有空值，为0即说明空值均已被填充  
print(df_fillna['Age'].isnull().sum())  
##### end #####    
imp_mean=SimpleImputer(missing_values=np.nan,strategy='mean')    
imp_mean=imp_mean.fit_transform(age)       
df_fillna=df  
df_fillna['Age']=imp_mean  
#正太分布离群点检测  
##### begin #####  
#计算均值  
u=df['Age'].mean()   
#计算标准差  
std=df['Age'].std()   
#识别异常值  
error = df[np.abs(df['Age'] - u) > 3 * std ]   
##### end #####  
print(error)

到了这里，关于头歌：数据预处理之数据清洗的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！