Основы теории нейронных сетей


         

Обучающий алгоритм обратного распространения - часть 6


Рассмотрим процесс обучения для одного веса от нейрона

в скрытом слое
к нейрону
в выходном слое
. Выход нейрона слоя
, вычитаемый из целевого значения (Target), дает сигнал ошибки. Он умножается на производную сжимающей функции
, вычисленную для этого нейрона слоя
, давая, таким образом, величину
.

(4)

Затем

умножается на величину
нейрона
, из которого выходит рассматриваемый вес. Это произведение, в свою очередь, умножается на коэффициент скорости обучения
(обычно от 0,01 до 1,0), и результат прибавляется к весу. Такая же процедура выполняется для каждого веса от нейрона скрытого слоя к нейрону в выходном слое.

Следующие уравнения иллюстрируют это вычисление:

(5)

(6)

где

— величина веса от нейрона
в скрытом слое
к нейрону
в выходном слое на шаге
(до коррекции); отметим, что индекс
относится к слою, в котором заканчивается данный вес (т. е. к слою, с которым он объединен);
— величина веса на шаге
(после коррекции);
— величина
для нейрона
, в выходном слое
;
— величина
для нейрона
в скрытом слое
.

Подстройка весов скрытого слоя. Рассмотрим один нейрон в скрытом слое, предшествующем выходному слою. При проходе вперед этот нейрон передает свой выходной сигнал нейронам в выходном слое через соединяющие их веса. Во время обучения эти веса функционируют в обратном порядке, пропуская величину

от выходного слоя назад к скрытому слою. Каждый из этих весов умножается на величину

нейрона, к которому он присоединен в выходном слое. Величина

, необходимая для нейрона скрытого слоя, получается суммированием всех таких произведений и умножением на производную сжимающей функции (см. рис. 4.4):

(7)

Когда значение

получено, веса, питающие первый скрытый уровень, могут быть подкорректированы с помощью уравнений (5) и (6), где индексы модифицируются в соответствии со слоем.


Рис. 4.4. 

Для каждого нейрона в данном скрытом слое должно быть вычислено

и подстроены все веса, ассоциированные с этим слоем. Этот процесс повторяется слой за слоем по направлению к входу, пока все веса не будут подкорректированы.




Содержание  Назад  Вперед