Основы теории нейронных сетей


Обучающий алгоритм обратного распространения


Сетевые конфигурации:

Нейрон. На рис. 4.1 показан нейрон, используемый в качестве основного строительного блока в сетях обратного распространения. Подается множество входов, идущих либо извне, либо от предшествующего слоя. Каждый из них умножается на вес, и произведения суммируются:

 NET = o_1w_1+o_2w_2+\ldots+o_nw_n.


Рис. 4.1. 

Эта сумма, обозначаемая

NET
, должна быть вычислена для каждого нейрона сети. После того, как величина
NET
вычислена, она модифицируется с помощью активационной функции, и получается сигнал OUT. Для алгоритмов обратного распространения обычно используется функция

 OUT=\frac{1}{1+e^{-NET}}.

(1)

Как показывает уравнение (1), эта функция, называемая сигмоидом, весьма удобна, так как имеет простую производную, что используется при реализации алгоритма обратного распространения:

 \frac{\partial OUT}{\partial NET}=OUT(1-OUT).

(2)

Сигмоид, который иногда называется также логистической или сжимающей функцией, сужает диапазон изменения

NET
так, что значение
OUT

лежит между нулем и единицей. Как указывалось выше, многослойные нейронные сети обладают большей представляющей мощностью, чем однослойные, лишь в случае присутствия нелинейности. Сжимающая функция обеспечивает требуемую нелинейность.




Начало  Назад  Вперед



Книжный магазин