Кодировка ассоциаций

Обычно сеть обучается распознаванию множества образов. Обучение производится с использованием обучающего набора, состоящего из пар векторов

$A$

$B$

. Процесс обучения реализуется в форме вычислений; это означает, что весовая матрица вычисляется как сумма произведений всех векторных пар обучающего набора. B символьной форме запишем

$W=\sum_i A_i^T B_i.$

Предположим, что все запомненные образы представляют собой двоичные векторы. Это ограничение будет выглядеть менее строгим, если вспомнить, что все содержимое Библиотеки Университета может быть закодировано в один очень длинный двоичный вектор. Показано, что более высокая производительность достигается при использовании биполярных векторов. При этом векторная компонента, большая чем 0, становится

$+1$

, а компонента, меньшая или равная 0, становится

$-1$

Предположим, что требуется обучить сеть с целью запоминания трех пар двоичных векторов, причем векторы

$A_i$

имеют размерность такую же, как и векторы

$B_i$

. Надо отметить, что это не является необходимым условием для работы алгоритма; ассоциации могут быть сформированы и между векторами различной размерности.

Исходный вектор	Ассоциированный вектор	Бинарная версия
$A_1=(1,0,0)$	$B_1=(0,0,1)$	$A_1'=(1,-1,-1)$	$B_1'=(-1,-1,1)$
$A_2=(0,1,0)$	$B_2=(0,1,0)$	$A_2'=(-1,1,-1)$	$B_2'=(-1,1,-1)$
$A_3=(0,0,1)$	$B_3=(1,0,0)$	$A_3'=(-1,-1,1)$	$B_1'=(1,-1,-1)$

Вычисляем весовую матрицу:

$W=A_1'{}^TB_1'+A_2'{}^TB_2'+A_3'^TB_3'.$

$\begin{array}{|c|c|c|} \hline 1 & 1 & \\ \hline & & 1 \\ \hline & & 1\\ \hline \end{array} \quad \begin{array}{|c|c|c|} \hline & 1 & \\ \hline 1& & 1 \\ \hline & 1 &\\ \hline \end{array} \quad \begin{array}{|c|c|c|} \hline 1 & & \\ \hline 1 & 1 & \\ \hline & 1 & 1\\ \hline \end{array} \quad \begin{array}{|c|c|c|} \hline 1 & 1 & \\ \hline 1& & 1 \\ \hline & 1 & 1\\ \hline \end{array}$