Основы теории нейронных сетей
что веса имеют только положительные
Заметим, что веса имеют только положительные значения. Выход нейрона затем вычисляется следующим образом:
Предполагая, что NET имеет положительное значение, можно записать:
Когда тормозящий вход мал (
что соответствует выражению для обычного линейного порогового элемента (с нулевым порогом).
Алгоритм обучения когнитрона позволяет весам синапсов возрастать без ограничений. Благодаря отсутствию механизма уменьшения, веса просто возрастают в процессе обучения. В обычных линейных пороговых элементах это привело бы к произвольно большому выходу элемента. В когнитроне большие возбуждающие и тормозящие входы дают в результате выход, который вычисляется по ограничивающей формуле вида
В данном случае OUT определяется отношением возбуждающих входов к тормозящим входам, а не их разностью. Следовательно, величина OUT ограничивается, если оба входа возрастают в одном и том же диапазоне
и после некоторых преобразований
Эта функция возрастает по закону Вебера—Фехнера, который часто применяется в нейрофизиологии для аппроксимации нелинейных соотношений входа/выхода сенсорных нейронов. При использовании этого соотношения нейрон когнитрона в точности эмулирует реакцию биологических нейронов — и становится как мощным вычислительным элементом, так и точной моделью физиологического моделирования.
Рис. 13.3.
Тормозящие нейроны. В когнитроне слой состоит из возбуждающих и тормозящих узлов. Как показано на рис. 13.3, нейрону слоя 2 присуща область связи, для которой он имеет синаптические соединения с набором выходов нейронов в слое 1. Аналогично, в слое 1 существует тормозящий нейрон, имеющий ту же область связи. Синаптические веса тормозящих узлов не изменяются в процессе обучения; их веса заранее установлены таким образом, что сумма весов в любом из тормозящих нейронов равна единице. В соответствии с этими ограничениями, выход тормозящего узла INHIB является взвешенной суммой его входов, которые в данном случае представляют собой среднее арифметическое выходов возбуждающих нейронов, к которым подсоединен данный выход.
Forekc.ru
Рефераты, дипломы, курсовые, выпускные и квалификационные работы, диссертации, учебники, учебные пособия, лекции, методические пособия и рекомендации, программы и курсы обучения, публикации из профильных изданий