【机器学习】特征工程 - 字典特征提取-Toy模板网

这篇具有很好参考价值的文章主要介绍了【机器学习】特征工程 - 字典特征提取。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

「作者主页」：士别三日wyx
「作者简介」：CSDN top100、阿里云博客专家、华为云享专家、网络安全领域优质创作者
「推荐专栏」：对网络安全感兴趣的小伙伴可以关注专栏《网络安全入门到精通》

特征工程就是从「原始数据」中提取「特征」，以供「算法」和「模型」使用。

简单来说就是将任意数据（比如文本和图像）转换为可用于机器学习的数字特征。

一、特征提取API

sklearn.feature_extraction 是用来提取特征的 API 。

sklearn.feature_extraction.DictVectorizer(sparse=True)

DictVectorizer.fit_transform( data )：接收字典类型的原始数据，返回提取的数字特征（sparse矩阵）
DictVectorizer.inverse_transform( data )：将提取的数字特征，转回原始数据。
DictVectorizer.get_feature_names_out()：返回特征名字

一、提取数字特征

我们准备一个字典类型的数据，然后「提取」数字特征。

from sklearn import feature_extraction

# 原始数据（字典）
old_data = [
    {'name': "张三", 'age': 18},
    {'name': "李四", 'age': 20}]

# 初始化
vector = feature_extraction.DictVectorizer(sparse=False)

# 转换数据
new_data = vector.fit_transform(old_data)
print(new_data)

输出：

[[18.  1.  0.]
 [20.  0.  1.]]

二、特征名字

如果想知道提取的数字特征是什么意思，可以用 get_feature_names_out() 获取「特征名字」，也就是特征和原始数据的对应关系。

from sklearn import feature_extraction

# 原始数据（字典）
old_data = [
    {'name': "张三", 'age': 18},
    {'name': "李四", 'age': 20},
    {'name': "王五", 'age': 22}]

# 初始化
vector = feature_extraction.DictVectorizer(sparse=False)

# 转换数据
new_data = vector.fit_transform(old_data)
print(new_data)
# 特征名字
print(vector.get_feature_names_out())

输出：

[[18.  1.  0.  0.]
 [20.  0.  1.  0.]
 [22.  0.  0.  1.]]
['age' 'name=张三' 'name=李四' 'name=王五']

接下来，解释一下提取的数字特征是什么意思。提取的数字特征是个二维数组，里面包含了三个数组。

一个数组即一行，代表一个样本；而一列，就代表一个特征。比如上面这个特征：

每个数组的第一列是age特征，age本来就是数字，所以就没必要转换了；
第二列是张三特征，用0和1表示，1表示name是张三，0表示name不是张三；
第三列是李四特征，1表示name是李四，0表示name不是李四；
第四列十王五特征，1表示name是王五，0表示name不是王五。

如果没看懂，可以自己修改原始数据，然后查看输出的结果。

这个提取的数字特征数组，其位置和特征类型有关，比如这里有 age、张三、李四、王五四种特征类型，那么数字特征数组就有4个位置。如果特征类型有五种，那么数字特征数组就会变成5个位置，以此类推。这种提取方式也叫 one-hot编码，

三、返回原始数据

将提取的数字特征，转换会原始数据，可以使用 inverse_transform()。

from sklearn import feature_extraction

# 原始数据（字典）
old_data = [
    {'name': "张三", 'age': 18},
    {'name': "李四", 'age': 20},
    {'name': "王五", 'age': 22}]

# 初始化
vector = feature_extraction.DictVectorizer(sparse=False)

# 转换数据
new_data = vector.fit_transform(old_data)
print(new_data)
# 转回原始数据
print(vector.inverse_transform(new_data))

输出：文章来源地址https://www.toymoban.com/news/detail-510603.html

[[18.  1.  0.  0.]
 [20.  0.  1.  0.]
 [22.  0.  0.  1.]]
[{'age': 18.0, 'name=张三': 1.0}, {'age': 20.0, 'name=李四': 1.0}, {'age': 22.0, 'name=王五': 1.0}]