Рассмотрим процесс обучения для одного
Рассмотрим процесс обучения для одного веса от нейрона
в скрытом слое
к нейрону
в выходном слое
. Выход нейрона слоя
, вычитаемый из целевого значения (Target), дает сигнал ошибки. Он умножается на производную сжимающей функции
, вычисленную для этого нейрона слоя
, давая, таким образом, величину
.
Затем
умножается на величину
нейрона
, из которого выходит рассматриваемый вес. Это произведение, в свою очередь, умножается на коэффициент скорости обучения
(обычно от 0,01 до 1,0), и результат прибавляется к весу. Такая же процедура выполняется для каждого веса от нейрона скрытого слоя к нейрону в выходном слое.
Следующие уравнения иллюстрируют это вычисление:
где
— величина веса от нейрона
в скрытом слое
к нейрону
в выходном слое на шаге
(до коррекции); отметим, что индекс
относится к слою, в котором заканчивается данный вес (т. е. к слою, с которым он объединен);
— величина веса на шаге
(после коррекции);
— величина
для нейрона
, в выходном слое
;
— величина
для нейрона
в скрытом слое
.
Подстройка весов скрытого слоя. Рассмотрим один нейрон в скрытом слое, предшествующем выходному слою. При проходе вперед этот нейрон передает свой выходной сигнал нейронам в выходном слое через соединяющие их веса. Во время обучения эти веса функционируют в обратном порядке, пропуская величину
от выходного слоя назад к скрытому слою. Каждый из этих весов умножается на величину
нейрона, к которому он присоединен в выходном слое. Величина
, необходимая для нейрона скрытого слоя, получается суммированием всех таких произведений и умножением на производную сжимающей функции (см. рис. 4.4):
Когда значение
получено, веса, питающие первый скрытый уровень, могут быть подкорректированы с помощью уравнений (5) и (6), где индексы модифицируются в соответствии со слоем.
Рис. 4.4. Для каждого нейрона в данном скрытом слое должно быть вычислено
и подстроены все веса, ассоциированные с этим слоем. Этот процесс повторяется слой за слоем по направлению к входу, пока все веса не будут подкорректированы.
Содержание Назад Вперед
