Больцмановское обучение - часть 2

Найти кумулятивную вероятность, соответствующую
$P(w)$
. Это есть интеграл от
$P(w)$
в пределах от 0 до
$w$
. Поскольку в данном случае
$P(w)$
не может быть проинтегрирована аналитически, она должна интегрироваться численно, а результат необходимо затабулировать.
Выбрать случайное число из равномерного распределения на интервале (0,1). Используя эту величину в качестве значения
$P(w)$
, найти в таблице соответствующее значение для величины изменения веса.

Свойства машины Больцмана широко изучены. Скорость уменьшения температуры должна быть обратно пропорциональна логарифму времени, чтобы была достигнута сходимость к глобальному минимуму. Скорость охлаждения в такой системе выражается следующим образом:

$T(t)=\frac{T_0}{\log(1+t)},$

где

$T(t)$

— искусственная температура как функция времени;

$T_0$

— начальная искусственная температура;

$t$

— искусственное время.

Этот разочаровывающий результат предсказывает очень медленную скорость охлаждения (и вычислений). Вывод подтвержден и экспериментально. Машины Больцмана часто требуют для обучения очень большого ресурса времени.

Содержание Назад Вперед