48 lines
2.4 KiB
Markdown
48 lines
2.4 KiB
Markdown
|
---
|
|||
|
|
title: Backpropagation
|
|||
|
|
localeTitle: 反向传播
|
|||
|
|
---
|
|||
|
|
## 反向传播
|
|||
|
|
|
|||
|
|
Backprogapation是[神经网络](../neural-networks/index.md)的子主题，是计算网络中每个节点的梯度的过程。这些梯度测量每个节点对输出层有贡献的“误差”，因此在训练神经网络时，这些梯度被最小化。
|
|||
|
|
|
|||
|
|
注意：反向传播和机器学习一般需要非常熟悉线性代数和矩阵操作。在尝试理解本文的内容之前，强烈建议您阅读或阅读此主题。
|
|||
|
|
|
|||
|
|
### 计算
|
|||
|
|
|
|||
|
|
反向传播的过程可以分三个步骤来解释。
|
|||
|
|
|
|||
|
|
鉴于以下内容
|
|||
|
|
|
|||
|
|
* m个L层神经网络的训练样例（x，y）
|
|||
|
|
* g = sigmoid函数
|
|||
|
|
* Theta（i）=从第i层到第i + 1层的过渡矩阵
|
|||
|
|
* a（l）= g（z（l））;基于一个训练示例的层l中的节点的值的数组
|
|||
|
|
* z（l）= Theta（l-1）a（l-1）
|
|||
|
|
* Delta一组L矩阵表示第i层和第i + 1层之间的过渡
|
|||
|
|
* d（l）=一个训练示例的层l的梯度阵列
|
|||
|
|
* D一组L矩阵，每个节点具有最终梯度
|
|||
|
|
* lambda网络的规范化术语
|
|||
|
|
|
|||
|
|
在这种情况下，对于矩阵M，M'将表示矩阵M的转置
|
|||
|
|
|
|||
|
|
1. 分配Delta（i）的所有条目，对于i，从1到L，为零。
|
|||
|
|
2. 对于从1到m的每个训练示例t，执行以下操作：
|
|||
|
|
|
|||
|
|
* 在每个示例上执行前向传播以计算每个层的（1）和z（l）
|
|||
|
|
* 计算d（L）= a（L） - y（t）
|
|||
|
|
* 计算d（l）=（Theta（l）'•d（l + 1））•g（z（l））表示l从L-1到1
|
|||
|
|
* 增量Delta（l）乘以delta（l + 1）•a（l）'
|
|||
|
|
|
|||
|
|
1. 将Delta matricies插入我们的偏导数矩阵中 D（l）= 1 \\ m（Delta（1）+ lambda·Theta（l））;如果l≠0 D（l）= 1 \\ m•Delta（l）;如果l = 0
|
|||
|
|
|
|||
|
|
当然，只是看到这篇文章看起来非常复杂，应该只在神经网络和机器学习的更大背景下理解。请查看加密的参考资料，以便更好地理解整个主题。
|
|||
|
|
|
|||
|
|
#### 更多信息：
|
|||
|
|
|
|||
|
|
* [第4讲CS231n神经网络简介](https://youtu.be/d14TUNcbn1k?t=354)
|
|||
|
|
* [Siraj Raval - 5分钟内的反向传播](https://www.youtube.com/watch?v=q555kfIFUCM)
|
|||
|
|
* [Andrew Ng的ML课程](https://www.coursera.org/learn/machine-learning/)
|
|||
|
|
* [深入，维基风格的文章](https://brilliant.org/wiki/backpropagation/)
|
|||
|
|
* [维基百科上的Backprop](https://en.wikipedia.org/wiki/Backpropagation)
|
|||
|
|
* [逐步反向传播示例](https://mattmazur.com/2015/03/17/a-step-by-step-backpropagation-example/)
|