Инициализация весов bij

Инициализация весов

$b_{ij}$

малыми значениями является существенной для корректного функционирования систем APT. Если они слишком большие, входной вес вектора, который уже был запомнен, станет скорее активизировать несвязанный нейрон, чем ранее обученный.

Установка этих весов в малые величины гарантирует, что несвязанные нейроны не будут получать возбуждения большего, чем обученные нейроны в слое распознавания. Используя предыдущий пример с

$L=2$

$m=5$

$b_{ij}<1/3$

, произвольно установим

$b_{ij}=1/6$

. С такими весами предъявление вектора, которому сеть была ранее обучена, приведет к более высокому уровню активации для правильно обученного нейрона в слое распознавания, чем для несвязанного нейрона. Например, для несвязанного нейрона

$X_1$

будет производить возбуждение 1/6, в то время как

$X_2$

будет производить возбуждение 1/2; и то, и другое ниже возбуждения для обученных нейронов.

Поиск. Может показаться, что в описанных алгоритмах отсутствует необходимость фазы поиска, за исключением случая, когда для входного вектора должен быть распределен новый несвязанный нейрон. Это не совсем так: предъявление входного вектора, сходного, но не абсолютно идентичного одному из запомненных образов, может при первом испытании не обеспечить выбор нейрона слоя распознавания с уровнем сходства, большим р, хотя такой нейрон будет существовать; и, тем самым, без поиска не обойтись.

Как и в предыдущем примере, предположим, что сеть обучается следующим двум векторам:

$\begin{aligned} X_1 & = 1\;0\;0;\;0\;0\\ X_2 & = 1\;1\;1;\;0\;0 \end{aligned}$

с векторами весов

$B_i$

, обученными следующим образом:

$\begin{aligned} B_1& = 1\;0\;0\;0\;0\\ B_2& = 1/2\;1/2\;1/2\;0\;0 \end{aligned}$

Теперь приложим входной вектор

$X_3 = 1\;1\;0\;0\;0$

. В этом случае возбуждение нейрона 1 в слое распознавания будет 1,0, а нейрона 2 только 2/3. Нейрон 1 выйдет победителем (хотя он не лучшим образом соответствует входному вектору), вектор

$C$

получит значение 1 1 0 0 0,

$S$

будет равно 1/2. Если уровень сходства установлен в 3/4, нейрон 1 будет заторможен и нейрон 2 выиграет состязание.

$C$

станет равным 1 1 0 0 0,

$S$

станет равным 1, критерий сходства будет удовлетворен, и поиск закончится.

Содержание Назад Вперед