Основы теории нейронных сетей


         

Алгоритм обучения однослойного персептрона


Персептрон должен решать задачу классификации по бинарным входным сигналам. Набор входных сигналов будем обозначать

-мерным вектором
. Все элементы вектора являются булевыми переменными (переменными, принимающими значения "Истина" или "Ложь"). Однако иногда полезно оперировать числовыми значениями. Будем считать, что значению "ложь" соответствует числовое значение 0, а значению "Истина" соответствует 1.

Персептроном будем называть устройство, вычисляющее следующую систему функций:

(1)

где

— веса персептрона,
— порог,
— значения входных сигналов, скобки
означают переход от булевых (логических) значений к числовым значениям по правилам, изложенным выше.

Обучение персептрона состоит в подстройке весовых коэффициентов. Пусть имеется набор пар векторов

,
, называемый обучающей выборкой. Будем называть нейронную сеть обученной на данной обучающей выборке, если при подаче на входы сети каждого вектора
на выходах всякий раз получается соответствующий вектор
.

Предложенный Ф.Розенблаттом метод обучения состоит в итерационной подстройке матрицы весов, последовательно уменьшающей ошибку в выходных векторах. Алгоритм включает несколько шагов:

Шаг 0Начальные значения весов всех нейронов
полагаются случайными
Шаг 1Сети предъявляется входной образ
, в результате формируется выходной образ
.
Шаг 2Вычисляется вектор ошибки
, делаемой сетью на выходе. Дальнейшая идея состоит в том, что изменение вектора весовых коэффициентов в области малых ошибок должно быть пропорционально ошибке на выходе и равно нулю, если ошибка равна нулю.
Шаг 3Вектор весов модифицируется по следующей формуле:
. Здесь
— темп обучения.
Шаг 4Шаги 1—3 повторяются для всех обучающих векторов. Один цикл последовательного предъявления всей выборки называется эпохой. Обучение завершается по истечении нескольких эпох: а) когда итерации сойдутся, т.е. вектор весов перестает изменяться, или б) когда полная, просуммированная по всем векторам абсолютная ошибка станет меньше некоторого малого значения.



Содержание  Назад  Вперед