深度学习和普通机器学习的区别是什么?

< > >

作者:黄晓帆


从本质上说,它提供了一组用于深入学习的技术和算法。这些技术和方法可以帮助我们进行深层神经网络结构。人工神经网络有很多隐含层和参数。深入学习的关键思想之一是从给定的数据集中提取高级特性。因此,深度学习的目的是为了克服特征工程任务单调的挑战,帮助传统神经网络的参数。
现在,为了介绍深入学习,让我们来看一个多层感知器(MLP)的更具体的例子。
在MLP中,“感知器”一词可能有点混淆,因为我们不想仅在网络中使用线性神经元。利用MLP,我们可以学习复杂的函数来解决非线性问题。因此,我们的网络通常由连接到输入和输出层的一个或多个“隐藏”层组成。这些隐藏的层通常有一种S型激活函数(logs-s或双曲正切,等)。例如,在我们的网络中,逻辑回归单元在0-1范围内返回一个连续值。一个简单的MLP看起来是这样的:


其中y是最后一个类标签,我们返回基于输入x的预测,“a”是我们激活的神经元,而“w”是权重系数。现在,如果我们给这个MLP添加一个以上的隐藏层,我们也将调用网络“深度”。这个“深度”网络的问题是,要了解这个网络的“好”的权重变得越来越困难。当我们开始训练网络时,我们通常将随机值分配给初始权值,这与我们想找到的“最佳”解决方案有很大的不同。在训练过程中,我们使用常用的反向传播算法,即反向模式自动区分,从右到左传播“正确的错误”,计算每一个权重的偏导数,从而向相反的成本(或“误差”)方向移动。现在,深层神经网络的问题就是所谓的“消失梯度”。我们添加的图层越多,更新的权重就越困难,因为信号变得越来越弱。因为我们网络的重量可能是非常糟糕的开头(随机初始化),这一个参数化的深层神经网络的反向传播算法几乎是不可能的。
这就是深层学习的作用所在。粗略地说,我们可以把深度学习作为一种聪明的技术或算法,帮助我们训练这种深层的神经网络结构。有许多不同的神经网络结构,但为了继续以MLP为例,让我介绍卷积神经网络(美国有线电视新闻网)的概念。我们可以把它看作是MLP的“附加组件”,它可以帮助我们检测MLP的“好”输入。
在一般机器学习的应用中,通常把重点放在特征工程部分,算法学习模型只能和输入数据一样好。当然,我们的数据集必须有足够的和歧视性的信息。然而,当信息淹没在无意义特征时,机器学习算法的性能将受到严重影响。深层学习的目的是从杂乱的数据中自动学习。这是一个算法,它为我们提供了一个有意义的深层神经网络结构,使它能够更有效地学习。我们可以把深度学习看作是一种自动学习特征工程的算法,也可以称之为“特征检测器”,它可以帮助我们克服一系列的挑战,促进神经网络的学习。
在图像分类的背景下,我们可以考虑卷积神经网络。在这里,我们使用所谓的“接收域”(把它们看作“窗口”),并通过我们的图像。然后,我们将“接受域”(例如,5和# 215;5像素的大小)和1个单位的下一层,即所谓的“功能图”。映射之后,我们建立了所谓的卷积层。请注意,我们的特征检测器基本上是相互复制的,它们具有相同的权重。其思想是,如果特征检测器在图像的某个部分非常有用,它也可能在其他地方有用。同时,它允许图像的不同部分以不同的方式表达。


下一步,我们有一个“池”层。在这一层中,我们将特征映射中的相邻特征减为单个单元格(例如,获取m)

资料全部来自网络,如果有问题可以发邮件到站长邮箱