Основы теории нейронных сетей


         

Обучающий алгоритм обратного распространения


Сетевые конфигурации:

Нейрон. На рис. 4.1 показан нейрон, используемый в качестве основного строительного блока в сетях обратного распространения. Подается множество входов, идущих либо извне, либо от предшествующего слоя. Каждый из них умножается на вес, и произведения суммируются:


Рис. 4.1. 

Эта сумма, обозначаемая

, должна быть вычислена для каждого нейрона сети. После того, как величина
вычислена, она модифицируется с помощью активационной функции, и получается сигнал OUT. Для алгоритмов обратного распространения обычно используется функция

(1)

Как показывает уравнение (1), эта функция, называемая сигмоидом, весьма удобна, так как имеет простую производную, что используется при реализации алгоритма обратного распространения:

(2)

Сигмоид, который иногда называется также логистической или сжимающей функцией, сужает диапазон изменения

так, что значение

лежит между нулем и единицей. Как указывалось выше, многослойные нейронные сети обладают большей представляющей мощностью, чем однослойные, лишь в случае присутствия нелинейности. Сжимающая функция обеспечивает требуемую нелинейность.




Содержание  Назад  Вперед