Алгоритм RPROP

Эвристические алгоритмы обучения многослойного персептрона

Простой эвристический алгоритм, демонстрирующий высокую эффективность обучения, - это алгоритм М. Ридмиллера и Х. Брауна, называемый RPROP [9]. В этом алгоритме при уточнении весов учитывается только знак градиентной составляющей, а ее значение игнорируется:

(3.50)

Коэффициент обучения подбирается индивидуально для каждого веса с учетом изменения значения градиента:

, (3.51)

где , a и b – константы: a=1.2; b=0.5. Минимальное и максимальное значения коэффициента обучения составляют и . Функция sgn() принимает значение, равное знаку градиента.