Основы теории нейронных сетей


         

Больцмановское обучение - часть 2


  1. Найти кумулятивную вероятность, соответствующую
    . Это есть интеграл от
    в пределах от 0 до
    . Поскольку в данном случае
    не может быть проинтегрирована аналитически, она должна интегрироваться численно, а результат необходимо затабулировать.
  2. Выбрать случайное число из равномерного распределения на интервале (0,1). Используя эту величину в качестве значения
    , найти в таблице соответствующее значение для величины изменения веса.

Свойства машины Больцмана широко изучены. Скорость уменьшения температуры должна быть обратно пропорциональна логарифму времени, чтобы была достигнута сходимость к глобальному минимуму. Скорость охлаждения в такой системе выражается следующим образом:

где

— искусственная температура как функция времени;
— начальная искусственная температура;
— искусственное время.

Этот разочаровывающий результат предсказывает очень медленную скорость охлаждения (и вычислений). Вывод подтвержден и экспериментально. Машины Больцмана часто требуют для обучения очень большого ресурса времени.




Содержание  Назад  Вперед