Алгоритмы одномерного поиска

Рассмотренные выше алгоритмы оптимизации являются стратегиями, которые обеспечивают минимизацию функционала обучения. В процессе работы этих алгоритмов, как правило, возникает задача одномерного поиска минимума вдоль заданного направления. Это могут быть направления антиградиента или сопряженные направления. В рамках ППП Neural Network Toolbox используется 5 функций одномерного поиска. При работе того или иного алгоритма они задаются параметром srchFcn, который определяет имя функции поиска.
Для многих процедур эта функция задается по умолчанию, но она может быть изменена
по желанию пользователя при определении процедуры обучения нейронной сети.

Алгоритм GOL

Алгоритм GOL, или алгоритм золотого сечения [18], реализуемый с помощью функции srchgol, выполняет одномерный поиск минимума функции с помощью последовательного перебора, и это не требует вычисления производной. В первую очередь алгоритм определяет интервал, в котором находится минимум целевой функции. Это достигается путем вычисления последовательности точек с интервалом delta и последующим удвоением этого интервала на каждом шаге вдоль направления поиска. Если целевая функция между двумя последовательными шагами начинает возрастать, то интервал, в котором находится минимум, найден. Следующий шаг состоит в уменьшении размера интервала, содержащего минимум. Для этого используется принцип половинного деления. Соответствующая процедура продолжается до тех пор, пока интервал неопределенности
не уменьшится до величины tol, равной delta/scale_tol.

Демонстрационная программа nnd12sd1 иллюстрирует одномерный поиск минимума функции методом золотого сечения в сочетании с алгоритмом градиентного спуска GD.