Основы теории нейронных сетей



         

Устойчивость


Как и в других сетях, веса между слоями в этой сети могут рассматриваться в виде матрицы

W
. Сеть с обратными связями является устойчивой, если ее матрица симметрична и имеет нули на главной диагонали, т. е. если
w_{ij} = w_{ji}
и
w_{ii} = 0

для всех

i
.

Устойчивость такой сети может быть доказана с помощью элегантного математического метода. Допустим, что найдена функция, которая всегда убывает при изменении состояния сети. В конце концов, эта функция должна достичь минимума и прекратить изменение, гарантируя тем самым устойчивость сети. Такая функция, называемая функцией Ляпунова, для рассматриваемых сетей с обратными связями может быть введена следующим образом:

 E=-\frac12\sum_i\sum_j w_{ij} OUT_i OUT_j-\sum_j I_j OUT_j+\sum_j T_j OUT_j,

где

E
— искусственная энергия сети;
w_{ij}
— вес от выхода нейрона
i
к входу нейрона
j
;
OUT_i
— выход нейрона
j
;
I_j
— внешний вход нейрона
j
;
T_j
— порог нейрона
j
.

Изменение энергии

E
, вызванное изменением состояния
j
-нейрона, есть

 \delta E=\left[\sum_{i\ne j}(w_{ij}OUT_i)+I_j-T_j\right]\delta OUT_j= -[NET_j-T_j]\delta OUT_j,

где

\delta OUT_j
— изменение выхода
j
-го нейрона.

Допустим, что величина NET нейрона

j
больше порога. Тогда выражение в скобках будет положительным, а из данных уравнений следует, что выход нейрона
j
должен измениться в положительную сторону (или остаться без изменения). Это значит, что
\delta OUT_j
может быть только положительным или нулем и
\delta E
должно быть отрицательным. Следовательно, энергия сети должна либо уменьшиться, либо остаться без изменения.

Далее, допустим, что величина

NET
меньше порога. Тогда величина
\delta OUT_i
может быть только отрицательной или нулем. Следовательно, опять энергия должна уменьшиться или остаться без изменения.

И окончательно, если величина

NET
равна порогу,
\delta_i
равна нулю и энергия остается без изменения.

Мы показали, что любое изменение состояния нейрона либо уменьшит энергию, либо оставит ее без изменения. Благодаря такому непрерывному стремлению к уменьшению энергия, в конце концов, должна достигнуть минимума и прекратить изменение. По определению такая сеть является устойчивой.

Симметрия сети является достаточным, но не необходимым условием для устойчивости системы. Имеется много устойчивых систем (например, все сети прямого действия), которые ему не удовлетворяют. Можно продемонстрировать примеры, в которых незначительное отклонение от симметрии будет приводить к непрерывным осцилляциям. Однако приближенной симметрии обычно достаточно для устойчивости систем.




Содержание  Назад  Вперед