Основы теории нейронных сетей




Настройка весовых векторов Bj


Выражение, описывающее процесс настройки весов, является центральным для описания процесса функционирования сетей APT:

 b_{ij}=\frac{Lc_i}{L-1+\sum_k c_k}.

Сумма в знаменателе представляет собой количество единиц на выходе слоя сравнения. Заданная величина может быть рассмотрена как "размер" этого вектора. В такой интерпретации "большие" векторы

C
производят более маленькие величины весов
b_{ij}
, чем "маленькие" вектора
C
. Это свойство самомасштабирования делает возможным разделение двух векторов в случае, когда один вектор является поднабором другого, т. е. когда набор единичных компонент одного вектора составляет подмножество единичных компонент другого.

Чтобы проиллюстрировать проблему, которая возникает при отсутствии масштабирования, используемого в данном выражении, предположим, что сеть обучена двум приведенным ниже входным векторам, при этом каждому распределен нейрон в слое распознавания.

Заметим, что

X_1
является поднабором
X_2
. В отсутствие свойства масштабирования веса
b_{ij}
и
t_{ij}
получат значения, идентичные значениям входных векторов. Если начальные значения выбраны равными 1,0, веса образов будут иметь следующие значения: если
X

прикладывается повторно, оба нейрона в слое распознавания получают одинаковые активации; следовательно, нейрон 2 — ошибочный нейрон — выиграет конкуренцию.

Кроме выполнения некорректной классификации, может быть нарушен процесс обучения. Так как

T_2
равно 1 1 1 0 0, только первая единица соответствует единице входного вектора, и
C
устанавливается в 1 0 0 0 0; критерий сходства удовлетворяется и алгоритм обучения устанавливает вторую и третью единицы векторов
T_2
и
B_2
в нуль, разрушая запомненный образ.

Масштабирование весов

b_{ij}
позволяет избежать такого нежелательного течения событий. Предположим, что используется значение
L=2
, тем самым определяя следующую формулу:

 b_{ij}=\frac{2c_i}{L-1+\sum_k c_k}.

Подавая на вход сети вектор

X_1
, получим возбуждающее воздействие 1,0 для нейрона 1 в слое распознавания и
1/2
для нейрона 2; таким образом, нейрон 1 (правильный) выиграет соревнование. Аналогично, предъявление вектора
X_2
вызовет уровень возбуждения 1,0 для нейрона 1 и 3/2 для нейрона 2, тем самым снова правильно выбирая победителя.




Содержание  Назад  Вперед