写在前面

前文回顾:

  1. 【机器学习】模型的过拟合,欠拟合以及评估方法
  2. 【机器学习】性能度量:错误率与精度&&查准率、查全率与Fβ
  3. 【机器学习】ROC以及代价曲线

今天首先分享偏差与方差的概念,接着来分析一个实例,那就是若学习器A的F1值比学习器B高,那么A的BEP值是否比B高呢?

偏差与方差

这个部分主要是用来说明模型在泛化时会因为噪声,模型自身缺陷等原因出现泛化误差,那么我们就用数学来定量计算这个误差
结论:泛化误差 = 偏差 + 方差 + 噪声
首先对字母进行说明

再来定义几个概念

噪声

模型整体的期望

模型整体的方差

不同训练集的方差(样本数相同)

模型的输出与真实标记的偏差

证明

接下来我们就要开始证明了,首先定义我们的前提条件,那就是噪声期望为0

证明如下:

F1与BEP值的关系

问题分析

首先来看F1的定义

那么根据问题条件学习器A 的F1值比学习器B高可以得出

乍看F1A和F1B的表达式没有什么头绪,但是在之前的文章中提到过,F1是P和R的调和平均,因此我们可以将式子做如下的变换

接下来我们来看BEP的定义,其实BEP的数值就是P=R时候的P(R)的数值,因此我们就深入挖掘了如下的条件

推导以及结论

接下来根据题目条件进行数学推导:

因此可以得到结论:若学习器A的F1值比学习器B高,那么A的BEP值也是比B高的


(づ ̄3 ̄)づ╭❤~一键三连,这次一定(๑•̀ㅂ•́)و✧