概念学习的评价指标

来源：蜘蛛抓取(WebSpider) 时间：2020-11-13 20:37 标签：
4、极大似然最大后验概率，贝葉斯估计
5、模型评估与评价指标

? 在不同的假设空间下依据各自的准则选择出最优模型后（学习），往往需要对这些模型进行评估一般而言，把训练数据划分为训练集-验证集-测试集

训练集：用来训练不同模型，获得模型及其训练误差；

验证集：与训练集相对独立获取训练模型在该集上的预测误差，用来做模型选择；

测试集：与训练集和验证集独立获得一般误差和其他模型评价指标，用来评价已选擇出的模型

30 30% 30，前者为训练集后者为验证/测试集集。

Strain?上学习每个假设类得到一个目标函数 h i h_{i}

3、对这些目标函数在验证样本上进行验证，得出泛化误差

k选择留下一份 S j S_{j} Sj?作为验证集其余的作为训练集。进行 k k 求均值作为该模型的验证误差。

平均平方根误差（RMSE）,平均平方误差（MSE）,平均绝对值误差（MAE）

0
0

? 我们都知道在分类问题上确定最终的分类是通过一个指示函数（阈值函数）设置一个阈值进行分类。不同嘚阈值决定不同的召回率和精确率因此，ROC曲线是在多组阈值下描述召回率和精确率的曲线如下图：

曲线的横坐标表示误分类为正类占所有负例的比例，纵坐标表示正确分类为正类占所有正例的比例（这样的好处由于单独比上各类的总样本数，不会因为数据不均衡问题導致在不同测试集上曲线大变样）曲线的含义是，当我们不断的调整阈值识别更多的正例时不可避免的引入了负例误判为正类。

? AUC值則表示曲线下方的面积面积越大则表示在调整阈值是引入负例的概率较小，也就是说曲线面积越大分类性能越好。

在上图中a)和c)为Roc曲線，b)和d)为Precision-Recall曲线a)和b)展示的是分类其在原始测试集(正负样本分布平衡)的结果，c)和d)是将测试集中负样本的数量增加到原来的10倍后分类器的结果，可以明显的看出ROC曲线基本保持原貌，而Precision-Recall曲线变化较大

K个检索结果的得分累加。

r_{j} rj?表示真实排序下对应第 j j j个结果的得分可以发现，最好的模型检索结果即为与真实排序一致那么DCG值最大，规范化之后为

MAP（Mean Average Precision）：信息检索下的评价指标MAP与DCG不同之处在于对检索结果不考慮排序，而是考虑平均的精确率（每个结果的权重为1）设定一组检索阈值（比如说检索结果排在前K位分类为正例），对应阈值下会有一個精确率后取均值

以上，在进行模型选择时往往在多组数据集上进行测试，同时需要综合一些评价指标以及特定的需求（比如某些場景下更看重召回率，而精确率却不是特别重要）权衡选择出做好的模型。

声明：所有文档均可在线免费浏覽所有资料来源于网络,仅供大家参考学习,版权归原作者。如有侵权请私信告知删除或向道客巴巴申请删除处理。

我要回帖

 

随机推荐