Выбор начальных значений весовых векторов - часть 2

Это не является катастрофой, так как слой Гроссберга может отобразить различные нейроны Кохонена в один и тот же выход, но это расточительная трата нейронов Кохонена.

Наиболее желательное решение будет таким: распределить весовые векторы в соответствии с плотностью входных векторов, подлежащих разделению, и для этого поместить больше весовых векторов в окрестности большого числа входных векторов. Конечно, на практике это невыполнимо, но существует несколько методов приближенного достижения тех же целей.

Одно из решений, известное под названием метода выпуклой комбинации (convex combination method), состоит в том, что все веса приравниваются к одной и той же величине

$w_i=\frac{1}{\sqrt{n}},$

где

$n$

— число входов и, следовательно, число компонент каждого весового вектора. Благодаря этому все весовые векторы совпадают и имеют единичную длину. Каждой же компоненте входа

$\bf X$

придается значение

$x_i=ax_i+\frac{1-a}{\sqrt{n}},$

где

$n$

— число входов. В начале

$\alpha$

очень мало, вследствие чего все входные векторы имеют длину, близкую к

$1/\sqrt n$

, и почти совпадают с векторами весов. В процессе обучения сети

$\alpha$

постепенно возрастает, приближаясь к единице. Это позволяет разделять входные векторы и окончательно приписывать им их истинные значения. Весовые векторы отслеживают один или небольшую группу входных векторов и в конце обучения дают требуемую картину выходов.

Содержание Назад Вперед