4.1 KiB
| title | localeTitle |
|---|---|
| Backpropagation | обратное распространение ошибки |
обратное распространение ошибки
Backprogapation - это подтема нейронных сетей и процесс, посредством которого вы вычисляете градиенты каждого узла в сети. Эти градиенты измеряют «ошибку», каждый из которых вносит вклад в выходной уровень, поэтому при обучении нейронной сети эти градиенты минимизируются.
Примечание. Backprogapation требует знание линейной алгебры. Курсовая работа или чтение статей по этой тематике настоятельно рекомендуется, прежде чем пытаться понять содержание данной статьи.
Вычисление
Процесс обратного распространения можно объяснить тремя шагами.
Учитывая следующее
- m учебных примеров (x, y) на нейронной сети из L-слоев
- g = сигмоидальная функция
- Theta (i) = матрица перехода от i-го до i + 1-го слоя
- a (l) = g (z (l)); массив значений узлов в слое l на основе одного примера обучения
- z (l) = Theta (l-1) a (l-1)
- Delta - набор L-матриц, представляющих переходы между i-м и i + 1-м слоем
- d (l) = массив градиентов для слоя l для одного примера обучения
- D набор L-матриц с окончательными градиентами для каждого узла
- лямбда - термин регуляризации для сети
В этом случае для матрицы M будет обозначать транспонирование матрицы M
- Назначьте все записи Delta (i), для i от 1 до L, ноль.
- Для каждого примера обучения t от 1 до m выполните следующие действия:
- выполнить прямое распространение на каждом примере для вычисления a (l) и z (l) для каждого слоя
- вычисление d (L) = a (L) - y (t)
- вычисление d (l) = (Theta (l) '• d (l + 1)) • g (z (l)) для l из L-1 в 1
- приращение Delta (l) на delta (l + 1) • a (l) '
- Подключите матрицу Delta к нашим частным производным матрицам D (l) = 1 \ m (Delta (l) + lambda • Theta (l)); если l ≠ 0 D (l) = 1 \ m • Delta (l); если l = 0
Конечно, просто просмотр этой статьи выглядит чрезвычайно сложным и должен действительно пониматься только в более широких контекстах нейронных сетей и машинного обучения. Посмотрите на дополнительные ссылки для лучшего понимания темы.