机器学习的损失函数

< > >
> >强> 0。前言 >

    尽管新技术和新算法层出不穷,但掌握基本算法可以解决90%的机器学习问题。

      这一系列的参考书和# 8220;“http://shop.oreilly.com/product/0636920052289.do“手在机器学习与scikit学习和tensorflow 和# 8220;与Kaggle的相关信息,但这篇文章没有参考,

      观察到一个有趣的细节:一些像机器学习、数据科学和机器学习、新手工程师或科学家的科学背景数据,工作的主要区别在于如何对待消极的实验(包括离线和在线)结果。初学者经常开始考虑如何更改模型、添加特性和调整参数;考虑如何从简单模型转换到复杂模型。有经验的人往往知道更多的实验设置,没有问题;实验比较的指标是如何计算时间,真正需要思考模型问题,有经验的人会集中思考训练数据,测试数据的真实问题和测试评估。初学者有点像一个三板斧,类似于程序咬金。有一些技能已经用光了。如果你没有效果,它就完了。而经验丰富的数据科学家往往从问题入手,看是否是对问题本质的把握(例如,优化目标是否正确,Counterfactual的情况是否存在偏差),最后讨论模型。
      < > < > >
      > >强> 1。损失函数 >

      前面一个讨论不同的重点,PRC,ROC,AUC评价模型,另一方面,模型的损失函数(目标函数)是一种机器学习的另一个是问题的本质,因为机器根据损失函数模型,不同的学习任务的进化,往往只谈分类模型在以下。
      一个二分类问题的假设,样本空间为,即一个预测输出值的分类模型是:(f);(1),0,1,0。预测准确度的计算模型,如果与符号相反的符号为真的数据分类,则是正确分类、分类误差模型。强> >说分类错误可以写为“如果你是”,“”;“0”,然后错误= 0,否则错误=。

      在实际情况中,很少看到直接的分类误差作为模型的目标函数,主要原因有几个,第一,损失= 0或1</ EM >平行于x轴的射线,0(除原产地)推导不使用,以优化模型的梯度下降法,但实际上它是一个NP-hard 离散非凸优化问题。其次,我们需要训练一个好的模型,让模型认为样本是正确的,虽然它是正确的,但如果它是低的,它需要进一步优化。例如,有三种水果,两种模型都经过训练,测试集上的概率分布如下:
      强>模型a
      < > >
      从上面的图表可以看出,当铰链到达一定阈值时,铰链损失达到一定的阈值(确定样本是正确分类的),损失下降到0,对整个模型训练没有影响。日志丢失,不管边距的大小,永远不会减少到0,这将始终影响到模型。平方误差时,如果输出值大于1,则边距值过大,但对模型的影响不好。
      < > >
      > >强> 3。交叉熵与平方误差

      交叉熵可以简单的理解为上述的日志丢失,学习的深度,最后一层是经常通过 SoftMax 计算保证金区间[0,1]上的概率分布。当使用交叉熵或平方误差时,平方误差对模型的影响不大。
      结论:如果你使用的是神经网络的分类模型,建议使用交叉熵。 >

      是一个分类任务的深度神经网络,和最后一层一般是softmax,和softmax公式如下:

      <img class= "aligncenter size-full wp-image-104272" src= "http://500dsj.qqwho.cc/image/2017/12/18/74.jpg" alt= "big data" width= "640" heigh

      资料全部来自网络,如果有问题可以发邮件到站长邮箱