「作者主页」：士别三日wyx
「作者简介」：CSDN top100、阿里云博客专家、华为云享专家、网络安全领域优质创作者
「推荐专栏」：对网络安全感兴趣的小伙伴可以关注专栏《网络安全入门到精通》
对「文本」进行特征提取时，一般会用「单词」作为特征，即特征词。
TfidfVectorizer会计算特征词的「权重」，帮我们发现哪个词是最重要的。
比如，某个词在这篇文章中出现的频率很高，但在其他文章中出现的频率很低，那么这个词对于这篇文章的权重就高。
而 CountVectorizer 则只是单纯的计算特征词出现的「次数」，对于多篇文章的特征提取，就相对逊色。
一、特征提取API
sklearn.feature_extraction 是用来提取特征的API。
sklearn.feature_extraction.text.TfidfVectorizer( stop_words=[…] )
- fit_transform( data )：接收数据（文本或包含文本字符串的可迭代对象），返回提取的特征（权重矩阵）
- vector.inverse_transform(new_data)：将提取的特征，转换成之前的数据
- get_feature_names_out()：获取（特征）单词列表
参数：
- stop_words：停用词，数组类型，指定的停用词不再作为特征词。
二、提取特征
我们准备一组原始数据，「提取」特征：
from sklearn import feature_extraction
# 原始数据
old_data = [
"I am your mather !"
"I am your father !"
]
# 初始化
tf = feature_extraction.text.TfidfVectorizer()
# 提取特征
new_data = tf.fit_transform(old_data)
print(new_data)
输出：
(0, 1) 0.31622776601683794
(0, 2) 0.31622776601683794
(0, 3) 0.6324555320336759
(0, 0) 0.6324555320336759
提取的结果是sparse类型的特征矩阵，我们用type查看一下返回值类型：
new_data = tf.fit_transform(old_data)
print(type(new_data))
输出：
<class 'scipy.sparse._csr.csr_matrix'>
这种存储形式目的是「节省内存」，但不利于我们分析，接下来，我们把结果转化成数组形式。
三、转成数组
使用sparse矩阵的内置方法 toarray() 转成「数组」
from sklearn import feature_extraction
# 原始数据
old_data = [
"I am your mather !"
"I am your father !"
]
# 初始化
tf = feature_extraction.text.TfidfVectorizer()
# 提取特征
new_data = tf.fit_transform(old_data)
print(new_data.toarray())
输出：
[[0.63245553 0.31622777 0.31622777 0.63245553]]
这种格式看起来友好一些，接下来，我们来分析一下这个输出结果是什么意思。
四、特征名字
get_feature_names_out() 获取提取特征的「名字」
from sklearn import feature_extraction
# 原始数据
old_data = [
"I am your mather !"
"I am your father !"
]
# 初始化
tf = feature_extraction.text.TfidfVectorizer()
# 提取特征
new_data = tf.fit_transform(old_data)
print(new_data.toarray())
print(tf.get_feature_names_out())
输出：
[[0.63245553 0.31622777 0.31622777 0.63245553]]
['am' 'father' 'mather' 'your']
原始数据中的每一个单词，都被当做一个特征；
当然，字母和标点符号默认不统计，因为没有意义。
特征名字 [‘am’ ‘father’ ‘mather’ ‘your’] 和 提取的特征 [0.63245553 0.31622777 0.31622777 0.63245553] 是一 一 对应的。
意思是：特征词 am 的权重是 0.63245553，特征词 father 的权重是 0.31622777，…
五、转回原始数据
inverse_transform( ) 方法可以将提取的特征转换成原始数据：文章来源：https://www.toymoban.com/news/detail-525373.html
from sklearn import feature_extraction
# 原始数据
old_data = [
"I am your mather !"
"I am your father !"
]
# 初始化
tf = feature_extraction.text.TfidfVectorizer()
# 提取特征
new_data = tf.fit_transform(old_data)
print(new_data.toarray())
# 转回原始数据
print(tf.inverse_transform(new_data))
输出：文章来源地址https://www.toymoban.com/news/detail-525373.html
[[0.63245553 0.31622777 0.31622777 0.63245553]]
[array(['father', 'mather', 'your', 'am'], dtype='<U6')]
到了这里，关于【机器学习】特征工程 - 文本特征提取TfidfVectorizer的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！
