Алгоритм HYB

Алгоритм HYB – это гибридный алгоритм, подобный алгоритму BRE, но использует другую комбинацию методов, а именно метод половинного деления и кубическую интерполяцию [41]. Алгоритм метода половинного деления предполагает вычисление целевой функции и ее производной в срединной точке исследуемого интервала, и это позволяет отбросить одну из половин. Таким образом организуется процедура последовательного перебора, которая обеспечивает глобальную сходимость, но характеризуется лишь линейной скоростью. Кубическая интерполяция строится с использованием значений целевой функции и ее производной в конечных точках интервала. Если минимум аппроксимирующей функции попадает в исследуемый интервал, то он используется для уточнения кубической аппроксимации в пределах этого же интервала. Если минимум находится
за пределами интервала, то продолжается поиск методом золотого сечения. В противном случае используется алгоритм половинного деления.

Следует заметить, что алгоритм HYB требует вычисления производных, и это приводит
к большему объему вычислений на каждом шаге по сравнению с алгоритмами GOL или BRE.

В рамках ППП Neural Network Toolbox этот алгоритм реализован в виде М-функции scrchhyb.

Алгоритм CHA

Алгоритм CHA, или алгоритм Чараламбуса (Charalambous) [8], – это специальный
алгоритм одномерного поиска, разработанный для обучения нейронных сетей на основе алгоритма градиентного спуска GD. Подобно двум предшествующим алгоритмам он
реализует гибридный метод поиска и использует кубическую интерполяцию в сочетании с методом деления интервала на части.

Этот алгоритм используется по умолчанию для большинства алгоритмов метода сопряженного градиента, так как опыт показал, что он обеспечивает прекрасные результаты при решении практических задач. Алгоритм требует вычисления производной в дополнение к вычислению самого функционала ошибки, однако он организован таким образом, что локализует минимум за меньшее количество шагов. Это справедливо не для всех задач, встречающихся на практике, и тогда пользователь может обратиться к другим алгоритмам одномерного поиска.

В рамках ППП Neural Network Toolbox этот алгоритм реализован в виде М-функции srchcha.