48 lines
4.2 KiB
Markdown
48 lines
4.2 KiB
Markdown
|
---
|
|||
|
|
title: Backpropagation
|
|||
|
|
localeTitle: обратное распространение
|
|||
|
|
---
|
|||
|
|
## обратное распространение
|
|||
|
|
|
|||
|
|
Backprogapation - это подтема [нейронных сетей](../neural-networks/index.md) , и это процесс, посредством которого вы вычисляете градиенты каждого узла в сети. Эти градиенты измеряют «ошибку», каждый из которых вносит вклад в выходной уровень, поэтому при обучении нейронной сети эти градиенты минимизируются.
|
|||
|
|
|
|||
|
|
Примечание. Просвещение назад и машинное обучение в целом требовали значительного знакомства с линейной алгеброй и матричной манипуляцией. Курсовая работа или чтение по этой теме настоятельно рекомендуется, прежде чем пытаться понять содержание этой статьи.
|
|||
|
|
|
|||
|
|
### вычисление
|
|||
|
|
|
|||
|
|
Процесс обратного распространения можно объяснить тремя шагами.
|
|||
|
|
|
|||
|
|
Учитывая следующее
|
|||
|
|
|
|||
|
|
* m учебных примеров (x, y) на нейронной сети из L-слоев
|
|||
|
|
* g = сигмоидальная функция
|
|||
|
|
* Theta (i) = матрица перехода от i-го до i + 1-го слоя
|
|||
|
|
* a (l) = g (z (l)); массив значений узлов в слое l на основе одного примера обучения
|
|||
|
|
* z (l) = Theta (l-1) a (l-1)
|
|||
|
|
* Delta - набор L-матриц, представляющих переходы между i-м и i + 1-м слоем
|
|||
|
|
* d (l) = массив градиентов для слоя l для одного примера обучения
|
|||
|
|
* D набор L-матриц с окончательными градиентами для каждого узла
|
|||
|
|
* лямбда - термин регуляризации для сети
|
|||
|
|
|
|||
|
|
В этом случае для матрицы M M будет обозначать транспонирование матрицы M
|
|||
|
|
|
|||
|
|
1. Назначьте все записи Delta (i), для i от 1 до L, ноль.
|
|||
|
|
2. Для каждого примера обучения t от 1 до m выполните следующие действия:
|
|||
|
|
|
|||
|
|
* выполнить прямое распространение на каждом примере для вычисления a (l) и z (l) для каждого слоя
|
|||
|
|
* вычисление d (L) = a (L) - y (t)
|
|||
|
|
* вычисление d (l) = (Theta (l) '• d (l + 1)) • g (z (l)) для l из L-1 в 1
|
|||
|
|
* приращение Delta (l) на delta (l + 1) • a (l) '
|
|||
|
|
|
|||
|
|
1. Подключите матрицу Delta к нашим частным производным матрицам D (l) = 1 \\ m (Delta (l) + lambda • Theta (l)); если l ≠ 0 D (l) = 1 \\ m • Delta (l); если l = 0
|
|||
|
|
|
|||
|
|
Конечно, просто просмотр этой статьи выглядит чрезвычайно сложным и должен действительно пониматься только в более широких контекстах нейронных сетей и машинного обучения. Посмотрите на переписанные ссылки для лучшего понимания темы в целом.
|
|||
|
|
|
|||
|
|
#### Дополнительная информация:
|
|||
|
|
|
|||
|
|
* [Лекция 4 CS231n Введение в нейронные сети](https://youtu.be/d14TUNcbn1k?t=354)
|
|||
|
|
* [Сирадж Равал - Пролонгация через 5 минут](https://www.youtube.com/watch?v=q555kfIFUCM)
|
|||
|
|
* [Курс Эндрю Нг](https://www.coursera.org/learn/machine-learning/)
|
|||
|
|
* [В глубине статьи в стиле вики](https://brilliant.org/wiki/backpropagation/)
|
|||
|
|
* [Backprop в Википедии](https://en.wikipedia.org/wiki/Backpropagation)
|
|||
|
|
* [Пример поэтапного обратного прогона](https://mattmazur.com/2015/03/17/a-step-by-step-backpropagation-example/)
|