Основы теории нейронных сетей

       

Обучение Коши



Рис. 7.3. 

В этом методе при вычислении величины шага распределение Больцмана заменяется на распределение Коши. Распределение Коши имеет, как показано на рис. 7.3, более длинные "хвосты", увеличивая тем самым вероятность больших шагов. В действительности, распределение Коши имеет бесконечную (неопределенную) дисперсию. С помощью такого простого изменения максимальная скорость уменьшения температуры становится обратно пропорциональной линейной величине, а не логарифму, как для алгоритма обучения Больцмана. Это резко уменьшает время обучения. Зависимость может быть выражена следующим образом:

Распределение Коши имеет вид

где

есть вероятность шага величины
.

В данном уравнении

может быть проинтегрирована стандартными методами. Решая относительно
, получаем

где

— коэффициент скорости обучения;
— изменение веса.

Теперь применение метода Монте-Карло становится очень простым. Для нахождения x в этом случае выбирается случайное число из равномерного распределения на открытом интервале

(необходимо ограничить функцию тангенса). Оно подставляется в формулу (5.7) в качестве
, и с помощью текущей температуры вычисляется величина шага.



Содержание раздела