Основы теории нейронных сетей


Предварительная обработка входных векторов - часть 2


Снова отметим, что процесс является самообучением, выполняемым без учителя. Сеть самоорганизуется таким образом, что данный нейрон Кохонена имеет максимальный выход для данного входного вектора. Уравнение, описывающее процесс обучения, имеет следующий вид:

 w_{\text{н}}=w_c+\alpha(x-w_c),

где

w_{\text{н}}
— новое значение веса, соединяющего входную компоненту
x
с выигравшим нейроном;
w_c
— предыдущее значение этого веса;
\alpha
— коэффициент скорости обучения, который может варьироваться в процессе обучения.

Каждый вес, связанный с выигравшим нейроном Кохонена, изменяется пропорционально разности между его величиной и величиной входа, к которому он присоединен. Направление изменения минимизирует разность между весом и его входом.

На рис. 6.4 этот процесс показан геометрически в двумерном виде. Сначала ищем вектор

X- W_c
, для этого проводится отрезок из конца
W
в конец
X
. Затем этот вектор укорачиваем умножением его на скалярную величину
\alpha
, меньшую единицы, в результате чего получаем вектор изменения
\delta
. Окончательно новый весовой вектор
W_{\text{н}}

является отрезком, направленным из начала координат в конец вектора

\delta
. Отсюда можно видеть, что эффект обучения состоит во вращении весового вектора в направлении входного вектора без существенного изменения его длины.


Рис. 6.4. 

Переменная

\alpha
является коэффициентом скорости обучения, который вначале обычно равен
\sim 0,7
и может постепенно уменьшаться в процессе обучения. Это позволяет делать большие начальные шаги для быстрого грубого обучения и меньшие шаги при подходе к окончательной величине.

Если бы с каждым нейроном Кохонена ассоциировался один входной вектор, то слой Кохонена мог бы быть обучен с помощью одного вычисления на вес. Веса нейрона-победителя приравнивались бы к компонентам обучающего вектора (

\alpha = 1
). Как правило, обучающее множество включает много сходных между собой входных векторов, и сеть должна быть обучена активировать один и тот же нейрон Кохонена для каждого из них. В этом случае веса этого нейрона должны вычисляться усреднением входных векторов, которые его активируют. Постепенное уменьшение величины
\alpha
уменьшает воздействие каждого обучающего шага, и окончательное значение будет средней величиной от входных векторов, на которых происходит обучение.Таким образом, веса, ассоциированные с нейроном, примут значение вблизи "центра" входных векторов, для которых данный нейрон является "победителем".




Начало  Назад  Вперед



Книжный магазин