我对人工神经网络（ANN）产生了浓厚的兴趣，并对其产生了浓厚的兴趣。但是有一件事我似乎无法弄清楚。
在评估应调整多少权重以减少误差时，ANN会考虑以下因素：
**但是最后一点甚至有什么关系呢？我知道它应该代表ANN对这种特定权重的信心，但是错误不是调整权重多少的关键吗？如果输出错误，我为什么还要担心我的人工神经网络对此权重有多大的信心？
我从这篇文章中得到了自己的见解（和困惑）。
关于事物如何运作的直觉通常是正确的，但具体而言，它们可能不是正确的。您对错误函数的直觉就是这种情况，这是不正确的。让我们记住错误是如何构造的，单个神经元的输出为：
o(x, w) = delta(sum w_j x_j + b)
其中delta是激活函数。假设均方误差，该误差就是神经元输出和标签之间的平方差之和：
e(w) = sum (o(x, w) - l)^2
要使用梯度下降，需要采用误差的导数，即：
e'(w) = sum 2 * (o(x, w) - l) * o'(x, w)
这取决于o的导数，根据链式规则，它是：
o'(x, w) = delta'(sum w_j x_j + b) * x_j
汇总误差的导数：
e'(w) = sum 2 * (o(x, w) - l) * delta'(sum w_j x_j + b) * x_j
因此，当我们有误差（差异）时，在神经元输出处评估的激活导数（减去激活）乘以神经元输入。请注意，我可能犯了一个或两个错误，但总体结构是正确的。最后，由于链式规则的应用，您的情况下激活（S型）的导数出现了。
本文收集自互联网，转载请注明来源。
如有侵权，请联系 [email protected] 删除。
我来说两句