1.这里介绍由 sklearn.metrics.ConfusionMatrixDisplay 所给出的关于混淆矩阵的一个小例子,来进行理解混淆矩阵及如何应用混淆矩阵来对数据进行分析
2.先了解混淆矩阵的一些基本信息,这里规定正类为1,负类为0
TP(True Positives): 预测为1,而真实的也为1 (即正类判断为正类,1判断为1)
TN(True Negatives): 预测为0,真实的也为0 (即负类判断为负类,0判断为0)
FP(False Positives): 预测为1,真实的为0 (即负类判断为正类,将0判断为了1)
FN(False Negatives): 预测为0,真实为1 (即正类判断为负类,将1判断为了0)
样本总数=25 | 预测为:0 | 预测为:1 | |
真实为:0 | TN = 12 | FP = 1 | 真实的0总数:13 |
真实为:1 | FN = 2 | TP = 10 | 真实的1总数:12 |
预测的0总数:14 | 预测的1总数:11 |
上方表格中,说明一下FN = 2 ,即表示预测为0的样本总的有14个,但是其中有2个样本咱预测成了0不过其真实的情况是为1,所以得到了FN = 2,即将本来是1的预测成了0(正类预测成了负类)。
为了便于理解,还可以将1理解成患病的情况,0是没病的情况,那么上面FN=2,则可理解成,将本来是患病的2个人预测成了没病,所以自然预测出问题了,他俩本来有病,但计算机预测他俩没病。
这个预测的数据,并非人为的凭空捏造,而是通过相关模型的建立及训练后,传入相关测试数据后,得到的预测数据。
而我们会想如果预测的数据和真实的数据情况一样的情况呢,即假设咱建立的模型很牛掰,预测的很准达到了100%正确,那么TN、FP、FN、TP的取值又该如何呢?即如下表情况:我们规定其真实的0的个数和上表一样还是13个,真实的1的个数仍旧为12,然后预测情况如下:
样本总数=25 | 预测为:0 | 预测为:1 | |
真实为:0 | 13 | 0 | 真实的0总数:13 |
真实为:1 | 0 | 12 | 真实的1总数:12 |
预测的0总数:13 | 预测的1总数:12 |
可以看到预测情况和真实的情况一样,即这种情况毫无疑问,预测准确率达到了100%,当然一般情况下,预测能力可达不到100%正确。
除上述外还需了解召回率(recall score)的相关信息,可从sklearn.metrics.recall_score 中进行了解,即使用TN、FP、FN、TP的相关值来计算的一个分数,进而评估该预测效果
3.接下来了解通过代码及运行结果来进行相关信息的理解及应用
3.1 基于SVC的方式来进行训练及预测
# 混淆矩阵 confusion matrix
import matplotlib.pyplot as plt
import numpy as np
from sklearn.datasets import make_classification
from sklearn.metrics import confusion_matrix, ConfusionMatrixDisplay
from sklearn.model_selection import train_test_split
from sklearn.svm import SVC
from sklearn.metrics._classification import recall_score
X, y = make_classification(random_state=0)
X_train, X_test, y_train, y_test = train_test_split(X, y,random_state=0)
print("真实的 Y值:",y_test)
# SVC 方式
clf = SVC(random_state=0)
clf.fit(X_train, y_train)
predictions = clf.predict(X_test)
print("预测的 Y值:",predictions)
# SVC
#Y: [1 1 1 0 0 1 1 0 1 1 1 0 0 0 0 1 0 0 1 1 0 0 1 0 0]
#p: [1 0 1 0 0 1 1 0 0 1 1 0 0 0 0 1 0 0 1 1 1 0 1 0 0]
# x x x
cm = confusion_matrix(y_test, predictions)
disp = ConfusionMatrixDisplay(confusion_matrix=cm)
r = recall_score(y_test,predictions,average='macro')
print("\n","recall score:" , r)
disp.plot()
plt.show()
控制台输出:recall score = 0.8782051282051282
混淆矩阵图像:
为了方便理解,不妨将混淆矩阵的各个模块添加上坐标,所以可以看到下图的各个模块坐标,坐标为(0,0)的模块样本数量有12个,(0,1)的有1个,(1,0)的有2个,(1,1)的有10个
首先通过对控制台输出的真实的 Y 值及预测的Y值进行分析,可以看到下图中打上红叉的地方,预测的Y值与真实值并不一样,所以可以看到混淆矩阵图上(1,0)的地方有2个,其代表的意思就是预测为0但实际为1的样本数量有2个,即 FN = 2;
又有(0,1)的模块有1个样本,即 FP = 1,表示为预测为 1但实际上是 0(将负类预测成了正类,0预测成了1);
又有(0,0)的模块为12个,即 TN = 12,表示为预测为0,真实的也为0的有12个样本(负类预测成负类,0预测成了0);
之后有(1,1)的模块为10个,即 TP = 10,表示为预测成1,真实的也为1的有10个样本(正类预测成正类,1预测成了1)。
3.2 基于逻辑回归的方式训练及预测
# 添加如下代码,且将SVC方式注释掉使用逻辑回归方式即可
from sklearn.linear_model import LogisticRegression
# SVC 方式
# clf = SVC(random_state=0)
# 逻辑回归方式
clf = LogisticRegression(random_state=0)
可以发现recall score 分数较SVC的提高了些
可以发现对比之前的混淆矩阵,逻辑回归方式,(1,1)即 TP = 11,从TP = 10 提高到了 11,略有上升。
3.3 线性回归的方式训练及预测
# 添加线性回归的库,即调用线性回归的代码
from sklearn.linear_model import LinearRegression
# SVC 方式
# clf = SVC(random_state=0)
# 逻辑回归方式
# clf = LogisticRegression(random_state=0)
# 采用线性回归
clf = LinearRegression()
clf.fit(X_train, y_train)
predictions = clf.predict(X_test)
predictions = predictions.astype(int) # 将预测数据转为int类型
可以看到线性回归方式进行预测效果有些不太理想,recall score 降低了很多
从混淆矩阵来看,预测的效果,在预测为1且实际为1时的情况即TP的值下降了许多,该方式进行预测有点不太理想。文章来源:https://www.toymoban.com/news/detail-413025.html
4.以上便为混淆矩阵的一些简单理解,总体来说,混淆矩阵表示相关数据情况,还是比较直观的。文章来源地址https://www.toymoban.com/news/detail-413025.html
到了这里,关于机器学习之混淆矩阵 confusion_matrix的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!