感知器训练规则,为什么乘以x

德马莱比

我正在阅读汤姆米切尔的机器学习书,他提到感知器训练规则的公式是

在此处输入图片说明

在哪里

在此处输入图片说明

  • 在此处输入图片说明 : 训练率
  • 在此处输入图片说明 : 预期输出
  • 在此处输入图片说明 : 实际输出
  • 在此处输入图片说明 : 第 i 个输入

这意味着如果在此处输入图片说明很大,那么很大在此处输入图片说明,但是当在此处输入图片说明很大时我不明白大型更新的目的

相反,我觉得如果有大在此处输入图片说明那么更新应该小,因为小的波动在此处输入图片说明会导致最终输出的大变化(由于在此处输入图片说明

酸碱

调整是向量加法和减法,可以认为是旋转超平面,使得类0落在一个部分上,而类1落在另一部分上。

考虑一个表示感知器模型权重的权1xd重向量在此处输入图片说明另外,考虑一个1xd数据点在此处输入图片说明那么感知器模型的预测值,在不失一般性的情况下考虑一个线性阈值,将是

在此处输入图片说明-- 等式 1

这里 '。' 是点积,或

在此处输入图片说明

上面方程的超平面是

在此处输入图片说明

(为简单起见,忽略权重更新的迭代索引)

让我们考虑,我们有两个类01,又不失一般性的损失,数据点标记0落在一个一侧方程1 <超平面的= 0,数据点标记1的另一边,其中公式1秋季> 0。

这是矢量正常该超平面在此处输入图片说明与标签数据点之间的角度0应是更那90度,并用标签数据点之间数据点1应小于90度。

有三种可能在此处输入图片说明(忽略训练率)

  • 在此处输入图片说明:暗示这个例子被当前的权重集正确分类。因此,我们不需要对特定数据点进行任何更改。
  • 在此处输入图片说明暗示目标是1,但目前的权重集将其归类为0方程 1。在此处输入图片说明这应该是在此处输入图片说明. 方程 1。在这种情况下是在此处输入图片说明,这表明之间的角度在此处输入图片说明在此处输入图片说明大于 90度,这应该是较小的。更新规则是在此处输入图片说明如果您想象在 2d 中添加向量,这将旋转超平面,使在此处输入图片说明之间的角度在此处输入图片说明比以前更近且小于90度数。
  • 在此处输入图片说明暗示目标是0,但目前的权重集将其归类为1方程 1。在此处输入图片说明这应该是在此处输入图片说明. 方程 1。在这种情况下是在此处输入图片说明表示之间的角度在此处输入图片说明在此处输入图片说明较小那 90度,这应该是较大的。更新规则是在此处输入图片说明类似地,这将旋转超平面,使在此处输入图片说明之间的角度在此处输入图片说明大于90度。

这是反复迭代,超平面被旋转和调整,使得超平面的法线角度90与类标记为数据点的角度小于度数,而与类标记为的数据点的度数1大于90度数0

如果 的量级在此处输入图片说明很大就会有很大的变化,因此在过程中会出现问题,并且可能需要更多的迭代才能收敛,这取决于初始权重的大小。因此,对数据点进行归一化或标准化是一个好主意。从这个角度来看,很容易可视化更新规则究竟在做什么(将偏差视为超平面方程 1 的一部分)。现在将其扩展到更复杂的网络和/或阈值。

推荐阅读和参考:神经网络,Raul Rojas 的系统介绍:第 4 章

本文收集自互联网,转载请注明来源。

如有侵权,请联系 [email protected] 删除。

编辑于
0

我来说两句

0 条评论
登录 后参与评论

相关文章