2.4 KiB
2.4 KiB
| title | localeTitle |
|---|---|
| Backpropagation | 反向传播 |
反向传播
Backprogapation是神经网络的子主题，是计算网络中每个节点的梯度的过程。这些梯度测量每个节点对输出层有贡献的“误差”，因此在训练神经网络时，这些梯度被最小化。
注意：反向传播和机器学习一般需要非常熟悉线性代数和矩阵操作。在尝试理解本文的内容之前，强烈建议您阅读或阅读此主题。
计算
反向传播的过程可以分三个步骤来解释。
鉴于以下内容
- m个L层神经网络的训练样例（x，y）
- g = sigmoid函数
- Theta（i）=从第i层到第i + 1层的过渡矩阵
- a（l）= g（z（l））;基于一个训练示例的层l中的节点的值的数组
- z（l）= Theta（l-1）a（l-1）
- Delta一组L矩阵表示第i层和第i + 1层之间的过渡
- d（l）=一个训练示例的层l的梯度阵列
- D一组L矩阵，每个节点具有最终梯度
- lambda网络的规范化术语
在这种情况下，对于矩阵M，M'将表示矩阵M的转置
- 分配Delta（i）的所有条目，对于i，从1到L，为零。
- 对于从1到m的每个训练示例t，执行以下操作：
- 在每个示例上执行前向传播以计算每个层的（1）和z（l）
- 计算d（L）= a（L） - y（t）
- 计算d（l）=（Theta（l）'•d（l + 1））•g（z（l））表示l从L-1到1
- 增量Delta（l）乘以delta（l + 1）•a（l）'
- 将Delta matricies插入我们的偏导数矩阵中 D（l）= 1 \ m（Delta（1）+ lambda·Theta（l））;如果l≠0 D（l）= 1 \ m•Delta（l）;如果l = 0
当然，只是看到这篇文章看起来非常复杂，应该只在神经网络和机器学习的更大背景下理解。请查看加密的参考资料，以便更好地理解整个主题。