Модель динамического программирования с бесконечным числом этапов

Поведение Марковского процесса на долгосрочном горизонте характеризуется его независимостью от начального состояния. В этом случае говорят, что система достигла установившегося состояния.

Существует два метода решения таких задач.

Первый метод (метод полного перебора) основан на переборе всех возможных стационарных стратегий в задаче принятия решения. Этот подход можно использовать только тогда, когда общее число стационарных стратегий с точки зрения практических вычисления достаточно мало.

Второй метод (метод итерации по стратегиям), как правило, более эффективен, так как определяет оптимальную стратегию итерационным путем.