Основы теории нейронных сетей


         

Кодировка ассоциаций


Обычно сеть обучается распознаванию множества образов. Обучение производится с использованием обучающего набора, состоящего из пар векторов

и
. Процесс обучения реализуется в форме вычислений; это означает, что весовая матрица вычисляется как сумма произведений всех векторных пар обучающего набора. B символьной форме запишем

Предположим, что все запомненные образы представляют собой двоичные векторы. Это ограничение будет выглядеть менее строгим, если вспомнить, что все содержимое Библиотеки Университета может быть закодировано в один очень длинный двоичный вектор. Показано, что более высокая производительность достигается при использовании биполярных векторов. При этом векторная компонента, большая чем 0, становится

, а компонента, меньшая или равная 0, становится
.

Предположим, что требуется обучить сеть с целью запоминания трех пар двоичных векторов, причем векторы

имеют размерность такую же, как и векторы
. Надо отметить, что это не является необходимым условием для работы алгоритма; ассоциации могут быть сформированы и между векторами различной размерности.

Исходный векторАссоциированный векторБинарная версия

Вычисляем весовую матрицу:

Далее, прикладывая входной вектор

, вычисляем выходной вектор
:

Используя пороговое правило,

, если
,
, если
,

, не изменяется, если
,

вычисляем

что является требуемой ассоциацией. Затем, подавая вектор

через обратную связь на вход первого слоя к

, получаем

что дает значение

после применения пороговой функции и образует величину вектора
.

Этот пример показывает, как входной вектор

с использованием матрицы
производит выходной вектор
. В свою очередь, вектор

с использованием матрицы

производит вектор
, и таким образом в системе формируется устойчивое состояние и резонанс.

ДАП обладает способностью к обобщению. Например, если незавершенный или частично искаженный вектор подается в качестве

, сеть имеет тенденцию к выработке запомненного вектора
, который, в свою очередь, стремится исправить ошибки в
. Возможно, для этого потребуется несколько проходов, но сеть сходится к воспроизведению ближайшего запомненного образа.




Содержание  Назад  Вперед