Основы теории нейронных сетей

xiaomi весы обзор, bmi android. |

Целочисленность весов персептронов


Для ответа на вопрос о количественных характеристиках вектора w рассмотрим следующую теорему.

Теорема. Любой персептрон можно заменить другим персептроном того же вида с целыми весами связей.

Доказательство.Обозначим множество примеров одного класса (правильный ответ равен 0) через

X_0
, а другого (правильный ответ равен 1) — через
X_1
. Вычислим максимальное и минимальное значения суммы в правой части (1):

 s_0=\min_{x\in X_0}\sum_i w_ix_i, \quad s_1=\min_{x\in X_1}\sum_i w_ix_i.

Определим допуск

\varepsilon
как минимум из
s_0
и
s_1
. Положим
\delta=s/(m+1)
, где
m
— число слагаемых в (1). Поскольку персептрон(1) решает поставленную задачу классификации и множество примеров в обучающей выборке конечно, то
\delta>0
. Из теории чисел известна теорема о том, что любое действительное число можно сколь угодно точно приблизить рациональными числами. Заменим веса
w_i
на рациональные числа так, чтобы выполнялись следующие неравенства:
|w_i- w_i'|<\delta
.

Из этих неравенств следует, что при использовании весов

w_i'

персептрон будет работать с теми же результатами, что и первоначальный персептрон. Действительно, если правильным ответом примера является 0, имеем

\sum_i w_ix_i\le -s
.

Подставив новые веса, получим:

 \sum_i w_i' x_i=\sum_i(w_i'-w_i)x_i+\sum_i w_ix_i\le \sum_i|w_i'- w_i|x_i-s\le\\ \le \sum_i|w_i'-w_i|-s<(m+1)\delta-s=0.

Откуда следует необходимое неравенство

 \sum_i w_i'x_i<0.

(2)

Аналогично, в случае правильного ответа равного 1, имеем

\sum_i w_ix_i<s
, откуда, подставив новые веса и порог, получим:

 \sum_i w_i' x_i = \sum_i (w_i'-w_i)x_i+\sum_i w_i x_i\ge s-\sum_i|w_i'- w_i|x_i\ge\\ \ge s-\sum_i|w_i'-w_i|>s-(m+1)\delta=0.

Отсюда следует выполнение неравенства

\sum_i w_i' x_i>0.

(3)

Неравенства (2) и (3) доказывают возможность замены всех весов и порога любого персептрона рациональными числами. Очевидно также, что при умножении всех весов и порога на одно и то же ненулевое число персептрон не изменится. Поскольку любое рациональное число можно представить в виде отношения целого числа к натуральному числу, получим

 \psi=\Bigl[\sum_{i=1}^m w_i x_i>0\Bigr]= \Bigl[\sum_{i=1}^m w_i' x_i>0\Bigr]= \Bigl[\sum_{i=1}^m \frac{w_i''}{r_i} x_i>0\Bigr],

(4)

где

w_i''
— целые числа. Обозначим через
r

произведение всех знаменателей:

r=\prod_{i=0}^m r_i
. Умножим все веса и порог на
r
. Получим веса целочисленные
w'''=rw''
. Из (2), (3) и (4) получаем

 \psi=\Bigl[\sum_{i=1}^m w_i x_i>0\Bigr]= \Bigl[\sum_{i=1}^m w_i' x_i>0\Bigr]= \Bigl[\sum_{i=1}^m \frac{w_i''}{r_i} x_i>0\Bigr]= \Bigl[\sum_{i=1}^m w_i''' x_i>0\Bigr],

что и завершает доказательство теоремы.

Поскольку из доказанной теоремы следует, что веса персептрона являются целыми числами, то вопрос о выборе шага при применении правил обучения решается просто: веса и порог следует увеличивать (уменьшать) на единицу.




Начало  Назад  Вперед



Книжный магазин