Основы теории нейронных сетей


         

Рассмотрим процесс обучения для одного


Рассмотрим процесс обучения для одного веса от нейрона
в скрытом слое
к нейрону
в выходном слое
. Выход нейрона слоя
, вычитаемый из целевого значения (Target), дает сигнал ошибки. Он умножается на производную сжимающей функции
, вычисленную для этого нейрона слоя
, давая, таким образом, величину
.



(4)


Затем
умножается на величину
нейрона
, из которого выходит рассматриваемый вес. Это произведение, в свою очередь, умножается на коэффициент скорости обучения
(обычно от 0,01 до 1,0), и результат прибавляется к весу. Такая же процедура выполняется для каждого веса от нейрона скрытого слоя к нейрону в выходном слое.

Следующие уравнения иллюстрируют это вычисление:



(5)


(6)


где
— величина веса от нейрона
в скрытом слое
к нейрону
в выходном слое на шаге
(до коррекции); отметим, что индекс
относится к слою, в котором заканчивается данный вес (т. е. к слою, с которым он объединен);
— величина веса на шаге
(после коррекции);
— величина
для нейрона
, в выходном слое
;
— величина
для нейрона
в скрытом слое
.

Подстройка весов скрытого слоя. Рассмотрим один нейрон в скрытом слое, предшествующем выходному слою. При проходе вперед этот нейрон передает свой выходной сигнал нейронам в выходном слое через соединяющие их веса. Во время обучения эти веса функционируют в обратном порядке, пропуская величину
от выходного слоя назад к скрытому слою. Каждый из этих весов умножается на величину


нейрона, к которому он присоединен в выходном слое. Величина
, необходимая для нейрона скрытого слоя, получается суммированием всех таких произведений и умножением на производную сжимающей функции (см. рис. 4.4):



(7)


Когда значение
получено, веса, питающие первый скрытый уровень, могут быть подкорректированы с помощью уравнений (5) и (6), где индексы модифицируются в соответствии со слоем.


Рис. 4.4. 

Для каждого нейрона в данном скрытом слое должно быть вычислено
и подстроены все веса, ассоциированные с этим слоем. Этот процесс повторяется слой за слоем по направлению к входу, пока все веса не будут подкорректированы.


Содержание  Назад  Вперед