Основы теории нейронных сетей



         

Обучение когнитрона - часть 2


Заметим, что веса имеют только положительные значения. Выход нейрона затем вычисляется следующим образом:

 \begin{gathered} NET=\frac{1+E}{1+I}-1,\\ OUT=\left\{\begin{aligned} NET , & \quad \text{если } NET\ge 0,\\ 0, & \quad \text{если } NET <0. \end{aligned} \right. \end{gathered}

Предполагая, что NET имеет положительное значение, можно записать:

 OUT=\frac{E-I}{1+I}.

Когда тормозящий вход мал (

I\ll 1
), OUT может быть аппроксимировано как

 OUT=E-I,

что соответствует выражению для обычного линейного порогового элемента (с нулевым порогом).

Алгоритм обучения когнитрона позволяет весам синапсов возрастать без ограничений. Благодаря отсутствию механизма уменьшения, веса просто возрастают в процессе обучения. В обычных линейных пороговых элементах это привело бы к произвольно большому выходу элемента. В когнитроне большие возбуждающие и тормозящие входы дают в результате выход, который вычисляется по ограничивающей формуле вида

 OUT =\frac{E}{I}-1,\quad \text{если } E\gg1 \text{ и }I\gg 1.

В данном случае OUT определяется отношением возбуждающих входов к тормозящим входам, а не их разностью. Следовательно, величина OUT ограничивается, если оба входа возрастают в одном и том же диапазоне

X
. Тогда
E
и
I
можно выразить следующим образом:

 E=pX,\quad I=qX,\quad p,q \text{ — константы},

и после некоторых преобразований

 OUT = \frac{p-q}{2q}\cdot\left[1+\th\left(\frac{\log(pq)}{2}\right)\right].

Эта функция возрастает по закону Вебера—Фехнера, который часто применяется в нейрофизиологии для аппроксимации нелинейных соотношений входа/выхода сенсорных нейронов. При использовании этого соотношения нейрон когнитрона в точности эмулирует реакцию биологических нейронов — и становится как мощным вычислительным элементом, так и точной моделью физиологического моделирования.


Рис. 13.3. 

Тормозящие нейроны. В когнитроне слой состоит из возбуждающих и тормозящих узлов. Как показано на рис. 13.3, нейрону слоя 2 присуща область связи, для которой он имеет синаптические соединения с набором выходов нейронов в слое 1. Аналогично, в слое 1 существует тормозящий нейрон, имеющий ту же область связи. Синаптические веса тормозящих узлов не изменяются в процессе обучения; их веса заранее установлены таким образом, что сумма весов в любом из тормозящих нейронов равна единице. В соответствии с этими ограничениями, выход тормозящего узла INHIB является взвешенной суммой его входов, которые в данном случае представляют собой среднее арифметическое выходов возбуждающих нейронов, к которым подсоединен данный выход.




Содержание  Назад  Вперед