python评价指标_详解分类评价指标和回归评价指标以及
Python代码实现
这篇⽂章介绍的内容是详解分类评价指标和回归评价指标以及Python代码实现，有着⼀定的参考价值，现在分享给⼤家，有需要的朋友可以参考⼀下。
1、概念
性能度量(评价)指标，主分为两⼤类：
1)分类评价指标(classification)，主要分析，离散的，整数的。其具体指标包括accuracy(准确率)，precision(精确率)，recall(召回率)，F值，P-R曲线，ROC曲线和AUC。
2)回归评价指标(regression)，主要分析整数和实数之间的关系。其具体指标包括可释⽅差得分(explianed_variance_score)，平均绝对误差MAE(mean_absolute_error)，均⽅误差MSE(mean-squared_error)，均⽅根差RMSE，交叉熵lloss(Log loss，cross-entropy loss)，R⽅值(确定系数，r2_score)。
1.1、前提假设只有两类-正类(positive)和负类(negative)，通常以关注的类为正类，其他类为负类(故多类问题亦可归纳为两类)
混淆矩阵(Confusion matrix)如下实际类别预测类别
正负总结
正TPFNP(实际为正)
负FPTNN(实际为负)表中AB模式：第⼀个表⽰预测结果的对错，第⼆个表⽰预测的类别。如TP表⽰，True Positive，即正确的预测为正类；FN表⽰，False Negative，即错误的预测为了负类。
2、评价指标(性能度量)
2.1、分类评价指标2.1.1 值指标-Accuracy、Precision、Recall、F值度量Accuracy(准确率)Precision(精确率)Recall(召回率)F值
定义正确分类的样本数与总样本数之⽐(预测为垃圾短信中真正的垃圾短信的⽐例)判定为正例中真正正例数与判定为正例数之⽐(所有真的垃圾短信被分类求正确出来的⽐例)被正确判定为正例数与总正例数之⽐准确率与召回率的调和平均F-score
表⽰accuracy=precision=recall=F - score =1.precision也常称为查准率，recall称为查全率
2.⽐较常⽤的是F1，
python3.6代码实现：#调⽤sklearn库中的指标求解from sklearn import ics import
precision_recall_ics import average_precision_ics import accuracy_score#给出分类结果y_pred = [0, 1, 0, 0]
y_true = [0, 1, 1, 1]
print("accuracy_score:", accuracy_score(y_true, y_pred))
print("precision_score:", metrics.precision_score(y_true, y_pred))
print("recall_score:", all_score(y_true, y_pred))
print("f1_score:", metrics.f1_score(y_true, y_pred))
print("f0.5_score:", metrics.fbeta_score(y_true, y_pred, beta=0.5))
print("f2_score:", metrics.fbeta_score(y_true, y_pred, beta=2.0))2.1.2 相关曲线-P-R曲线、ROC曲线及AUC值
1)P-R曲线
步骤：
1、从⾼到低将”score”值排序并依次作为阈值threshold；
2、对于每个阈值，”score”值⼤于或等于这个threshold的测试样本被认为正例，其他为负例。从⽽形成⼀组预测数。
eg.
将0.9作为阈值，则第1个测试样本为正例，2、3、4、5为负例
python新手代码及作用
得到预测为正例预测为负例总计
正例(score⼤于阈值)0.90.11
负例(score⼩于阈值)0.2+0.3+0.3+0.35 = 1.150.8+0.7+0.7+0.65 = 2.854
precision=
recall=在阈值以下的部分，当作负例，则预测为负例的取值情况是正确预测值，即如果本⾝是正例，则取TP；如果本⾝是负例，则取TN，其都为预测分值。
python实现伪代码#precision和recall的求法如上
#主要介绍⼀下python画图的库
import matplotlib.pyplot ad plt
#主要⽤于矩阵运算的库
import numpy as np#导⼊iris数据及训练见前⼀博⽂
...
#加⼊800个噪声特征，增加图像的复杂度
#将150*800的噪声特征矩阵与150*4的鸢尾花数据集列合并
X = np.c_[X, np.random.RandomState(0).randn(n_samples, 200*n_features)]
#计算precision，recall得到数组
for i in range(n_classes):
#计算三类鸢尾花的评价指标， _作为临时的名称使⽤
precision[i], recall[i], _ = precision_recall_curve(y_test[:, i], y_score[:,i])#plot作图plt.clf()
for i in range(n_classes):
plt.plot(recall[i], precision[i])
plt.xlim([0.0, 1.0])
plt.ylim([0.0, 1.05])
plt.xlabel("Recall")
plt.ylabel("Precision")
plt.show()
将上述代码补充完整后得到鸢尾花数据集的P-R曲线
2)ROC曲线
横轴：假正例率 fp rate = FP / N
纵轴：真正例率 tp rate = TP / N
步骤：
1、从⾼到低将”score”值排序并依次作为阈值threshold；
2、对于每个阈值，”score”值⼤于或等于这个threshold的测试样本被认为正例，其他为负例。从⽽形成⼀组预测数。同P-R曲线计算类似，不再赘述
鸢尾花数据集的ROC图像为
AUC(Area Under Curve)定义为ROC曲线下的⾯积
AUC值提供了分类器的⼀个整体数值。通常AUC越⼤，分类器更好，取值为[0, 1]
2.2、回归评价指标
1)可释⽅差得分
2)平均绝对误差 MAE (Mean absolute error)
3)均⽅差 MSE (Mean squared error)
4)logistics回归损失
5)⼀致性评价 - pearson相关系数法
python代码实现ics import log_loss
log_loss(y_true, y_pred)from scipy.stats import pearsonr
pearsonr(rater1, rater2)ics import cohen_kappa_score
cohen_kappa_score(rater1, rater2)

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。