Общая постановка задачи динамического программирования

Метод динамического программирования

Решение многих задач математического программирования может быть упрощено, если развернуть процесс планирования (решения) поэтапно, т.е. использовать метод динамического программирования (ДП). Идея метода состоит в том, что отыскание экстремума функции многих переменных заменяют многократным поиском точек экстремума функции одной или небольшого числа переменных.

ДП есть поэтапное планирование многошагового процесса, при котором на каждом этапе оптимизируют только один шаг. Причем, управление на каждом шаге должно выбираться с учетом его последствий в будущем. ДП – это планирование с учетом перспективы и с учетом интересов всей задачи.

Общая постановка задачи динамического программирования

Предположим, что данная физическая система S находится в некотором начальном состоянии S₀ ϵ S_R и является управляемой. Таким образом, благодаря осуществлению некоторого управления U, указанная система переходит из начального состояния S₀ в конечное состояние S_кон ϵ S_R. При этом качество каждого из осуществляемых управлений U характеризуется соответствующим значением функции W(U). Задача состоит в том, чтобы из множества возможных управлений U найти такое U^*, при котором функция W(U) принимает свое экстремальное (максимальное или минимальное) значение W(U^*). Сформулированная задача и является общей задачей динамического программирования.

Рассмотрим теперь в общем виде решение этой задачи. Для этого введем ряд обозначений и сделаем необходимые для дальнейшего изложения предположения.

Будем считать, что состояние системы S на к-ом шаге (к = 1,…, n) определяется совокупностью чисел X ^K = (X₁^K, X₂^K, …, X_m^k), которые получены в результате реализации управления U_k, обеспечивающего переход системы S из состояния X ^K-1 в состояние X ^K. При этом будем предполагать, что состояние X ^K, в которое перешла система S, зависит от заданного состояния X ^K-1 и выбранного управления U_k, и не зависит от того каким образом система S пришла в состояние X ^K-1.

Далее будем предполагать, что если в результате реализации к-го шага обеспечен определенный доход или выигрыш, зависящий от исходного состояния системы X ^K-1 и выбранного управления U_к, равный W_k(X ^K-1, U_к), то общий доход или выигрыш за n шагов составляет

(1)

Тем самым мы сформулировали два условия, которым должна удовлетворять рассматриваемая задача ДП. Первое условие обычно называют условием отсутствия последствия, а второе условием аддитивности целевой функции.

Выполнение первого условия для задачи ДП позволяет сформулировать для нее принцип оптимальности Беллмана. До того как сделать это дадим определение оптимальной стратегии управления. Под такой стратегией будем понимать совокупность n управлений U^* = (U₁^*, U₂^*,…, U_n^*), в результате реализации которых система S, за n шагов переходит из начального состояния Х⁰ в конечное состояние Хⁿ, при этом функция (1) принимает наибольшее значение.

ПРИНЦИП ОПТИМАЛЬНОСТИ Каково бы ни было состояние системы перед очередным шагом, надо выбрать управление на этом шаге таким, чтобы выигрыш на данном шаге плюс оптимальный выигрыш на последующих шагах был максимальным.

Отсюда следует, что оптимальную стратегию управления можно получить, если сначала найти оптимальную стратегию управления на n – ом шаге, затем на двух последних шагах, далее на трех последних шагах и.т.д., вплоть до первого. Таким образом, решение рассматриваемой задачи ДП целесообразно начинать с определения оптимального управления на последнем n – ом шаге. Для того, чтобы найти это решение, очевидно, нужно сделать различные предположения о том, как мог окончиться предпоследний шаг и с учетом этого выбрать управление U_n, обеспечивающее максимальное значение функции W_n(X ^n-1, U_n). Такое управление U_n, выбранное при определенных предположениях о том, как окончился предыдущий шаг, называется условно оптимальным управлением. Следовательно, принцип оптимальности требует находить на каждом шаге условно оптимальное управление для любого из возможных исходов предыдущего шага.

Чтобы это возможно было осуществить практически, необходимо дать формулировку принципа оптимальности. Для этого введем некоторые дополнительные обозначения. Обозначим через F_n(X⁰) максимальный доход, полученный за n-шагов при переходе системы S из начального состояния Х⁰ в конечное состояние Хⁿ при оптимальной стратегии управления U = (U₁, U₂,…, U_n), а через F_n-k(X^k) – максимальный доход, полученный при переходе из любого состояния X^k в конечное состояние Xⁿ при оптимальной стратегии управления на оставшихся n-k шагах. Тогда

F_n(X⁰) = W₁(X ⁰, U₁) + … + W_n(X ^n-1, U_n) (2)

F_n-k(X^k) = max[W_k+1(X ^k, U_k+1) + F_n-k-1(X^k+1)] (3)

U_k+1

Последнее выражение представляет собой математическую запись принципа оптимальности и носит название основного функционального уравнения Беллмана или рекуррентного соотношения. Используя данное уравнение, находим решение рассматриваемой задачи ДП. Остановимся на этом более подробно.

Полагая k = n–1 в рекуррентном соотношении (3) получаем функциональное уравнение:

F₁(X^n-1) = max[W_n(X ^n-1, U_n) + F₀(Xⁿ)] (4)

U_n

В этом уравнении F₀(Xⁿ) будем считать известным. Используя теперь уравнение (4) и рассматривая всевозможные допустимые состояния системы S на (n-1)-ом шаге (X₁^n-1, X₂^n-1, …, X_m^n-1) находим условно оптимальные решения: U_n⁰(X₁^n-1), U_n⁰(X₂^n-1),…, U_n⁰(X_m^n-1) и соответствующие значения функции (4) F₁⁰(X₁^n-1), F₁⁰(X₂^n-1), …, F₁⁰(X_m^n-1). Тем самым на n-ом шаге находим условно оптимальное управление при любом состоянии системы S после n-1 – го шага. Иными словами, в каком бы состоянии система не оказалась после n-1 – го шага, нам уже известно какое следует принять решение на n–ом шаге. Известно также и соответствующее значение функции (4).

Переходим теперь к рассмотрению функционального уравнения при k=n-2:

F₂(X^n-2) = max[W_n-1(X ^n-2, U_n-1) + F₁(X^n-1)] (5)

U_n-1

Для того чтобы найти значение F₂ для всех допустимых значений X^n-2, очевидно необходимо знать W_n-1(X ^n-2, U_n-1) и F₁(X^n-1). Что касается значений F₁(X^n-1), то их мы уже определили. Поэтому нужно произвести вычисления для W_n-1(X ^n-2, U_n-1) при некотором наборе допустимых значений X ^n-2 и соответствующих управлений U_n-1. Эти вычисления позволят определить условно оптимальное управление U^о_n-1 для каждого X ^n-2. Каждое из таких управлений совместно уже с выбранным управлением на последнем шаге обеспечивает максимальное значение дохода на двух последних шагах.

Следовательно, в результате последовательного прохождения всех этапов от конца к началу, находим максимальное значение выигрыша на каждом из n шагов и для каждого из них находим условно оптимальное управление.

Чтобы определить оптимальную стратегию управления, т.е. определить искомое решение задачи, нужно пройти всю последовательность шагов, только на этот раз от начала к концу. На первом шаге в качестве оптимального управления U^*₁ возьмем найденное условно оптимальное управление U^о₁. На втором шаге найдем состояние X^*₁, в которое переводит систему управление U^*₁. Это состояние определяет найденное условно оптимальное управление U^*₂, которое теперь будем считать оптимальным. Зная U^*₂, находим X^*₂, а значит, определяем U^*₃ и.т.д. В результате чего находим решение задачи, т.е. максимально возможный доход и оптимальную стратегию управления U^*, включающую оптимальные управления на отдельных шагах: U^* = (U^*₁, U^*₂,…, U^*_n).

В качестве иллюстрации вышеизложенного метода рассмотрим решение задачи об использовании оборудования. Приведем формулировку задачи [1]/. К рассматриваемому моменту времени на предприятии установлено новое оборудование. Зависимость производительности этого оборудования от времени использования его предприятием, а также зависимость затрат на содержание и ремонт оборудования при различных сроках его использования приведена в таблице 1

Таблица 1

	Время, в течение которого используется оборудование (лет)
Годовой выпуск продукции R(t) в стоимостном выражении (тыс. руб.)
Ежегодные затраты z(t), связанные с содержанием и ремонтом оборудования (тыс. руб.)

Зная, что затраты связанные с приобретением и установкой нового оборудования, идентичного с установленным, составляют 40 тыс. руб., а заменяемое оборудование списывается составить такой план замены оборудования в течение пятилетки, при котором общая прибыль за данный период времени будет максимальна.

Решение. Эту задачу можно рассматривать как задачу ДП, в которой в качестве системы S выступает оборудование. Состояния этой системы определяются фактическим временем использования оборудования (его возрастом t), т.е. описываются единственным параметром t.

В качестве управлений выступают решения о замене и сохранении оборудования, принимаемые в начале каждого года. Обозначим через U₁ -решение о сохранении оборудования, а через U₂ – решение о замене оборудования. Тогда задача состоит в нахождении такой стратегии управления, определяемой решениями, принимаемыми к началу каждого года, при которой общая прибыль предприятия за пятилетку является максимальной.

Таким образом, мы сформулировали исходную задачу в терминах задачи ДП. Эта задача обладает свойствами аддитивности и отсутствия последствия. Поэтому ее решение можно найти с помощью описанного выше алгоритма решения задачи ДП, реализуемого в два этапа. На первом этапе при движении от начала 5-го года пятилетки к началу 1-го года для каждого допустимого состояния оборудования найдем условно оптимальное управление (решение). А на втором этапе, при движении от начала 1-го года пятилетки к началу 5-го года, из условных оптимальных решений для каждого года составим оптимальный план замены оборудования на пятилетку.

Для определения условно оптимальных решений сначала необходимо составить функциональное уравнение Беллмана.

Поскольку мы предположили, что к началу к-го года (к=1,2,3,4,5) может приниматься только одно из двух решений – заменять оборудование или не заменять оборудование, то прибыль предприятия за к-ый год составит:

где t^k – возраст оборудования к началу к-го года (к=1,2,3,4,5);

U^k – управление, реализуемое к началу к-го года;

С₀ – стоимость нового оборудования.

Следовательно, в данном случае уравнение Беллмана имеет вид:

(6)

С помощью уравнения (6) приступим к нахождению решения рассматриваемой задачи. Решать задачу начнем с определения условно оптимального управления (решения) для последнего (5-го) года пятилетки. В связи с чем, находим множество допустимых состояний оборудования к началу данного года пятилетки. Так как к началу пятилетки установлено новое оборудование (t¹ =0), то возраст оборудования к началу 5-го года может составлять 1, 2, 3, 4 года. Поэтому допустимые состояния системы на данный период времени таковы: t⁵ = 1; t⁵ = 2; t⁵ = 3; t⁵ = 4. Для каждого из этих состояний найдем условно оптимальное решение и соответствующее значение функции F₅(t⁵). Используя уравнение (6) и соотношение F₆(t^k+1) = 0 (так как используется последний год расчетного периода), получаем:

(7)

Подставляя теперь в формулу (7) вместо t⁵ его значение, равное 1, и учитывая данные таблицы 1, находим:

Значит, условно оптимальное управление в данном случае есть U₁. Реализуем аналогичные вычисления для других допустимых состояний оборудования к началу 5-го года пятилетки:

;

Полученные результаты вычислений сведем в таблицу 2.

Таблица 2

Возраст оборудования t5 лет	Значение функции, F5(t5) (тыс. руб)	Условно оптимальное управление, Uo5.
		U1
		U1
		U1
		U2

Рассмотрим теперь возможные состояния оборудования к началу 4-го года пятилетки. Очевидно, что допустимыми состояниями являются t⁴ = 1; t⁴ = 2; t⁴ = 3. Для каждого из них определяем условно оптимальное управление и соответствующее значение функции F₄(t⁴). Для этого используем уравнение (6) и данные таблиц 1,2. Так в частности для t⁴ = 1 имеем

Аналогично имеем

Полученные результаты вычислений занесем в таблицу 3.

Таблица 3

Возраст оборудования t4 лет	Значение функции, F4(t4) (тыс. руб)	Условно оптимальное управление, Uo4.
		U1
		U2
		U2

Определим теперь условно оптимальное управление для каждого из допустимых состояний оборудования к началу 3-го года пятилетки. Очевидно, что такими состояниями являются: t³ = 1; t³ = 2. В соответствии с уравнением (6) имеем:

Из последнего выражения видно, что если к началу 3-го года пятилетки возраст оборудования составляет два года, то независимо от того будет принято управление U₁ или U₂, величина прибыли окажется одной и той же. Это значит, что в качестве условно оптимального управления можно взять любое из двух возможных, например U₂. Полученные значения для F₃(t³) и соответствующие условно оптимальные управления запишем в таблицу 4.

Таблица 4

Возраст оборудования t3 лет	Значение функции, F3(t3) (тыс. руб)	Условно оптимальное управление, Uo3.
		U1
		U2

Наконец рассмотрим допустимые состояния оборудования к началу 2-го года пятилетки. Очевидно, что на этот момент времени возраст оборудования может быть равен только одному году. Поэтому предстоит сравнить лишь два возможных решения: сохранить оборудование или его заменить. В соответствии с уравнением (6) имеем:

Анализ такого сравнения запишем в таблицу 5.

Таблица 5

Возраст оборудования t2 лет	Значение функции, F2(t2) (тыс. руб)	Условно оптимальное управление, Uo2.
		U1

Согласно условию задачи, к началу пятилетки установлено новое оборудование (t¹ = 0). Поэтому проблема выбора между сохранением и заменой оборудования не существует: оборудование следует сохранить. Значит, условно оптимальным управлением является U₁, а значение функции

Таким образом, максимальная прибыль предприятия может быть равной 215 тыс. руб. Она соответствует наиболее выгодному варианту замены оборудования, который получается на основе данных таблиц 1, 2, 3, 4, 5 т.е. в результате реализации второго этапа вычислительного процесса, состоящего в прохождении всех рассмотренных шагов с начала 1-го до начала 5-го года пятилетки. Для первого года пятилетки решение является единственным – сохранить оборудование. Значит, возраст оборудования к началу 2-го года пятилетки равен одному году. Тогда в соответствии с данными таблицы 5 оптимальным управлением для 2-го года пятилетки является решение о сохранении оборудования. Реализация такого управления приводит к тому, что возраст оборудования к началу 3 -го года пятилетки становится равным двум годам. При таком возрасте (смотрите таблицу 4) оборудование на 3 – м году пятилетки следует заменить. После замены оборудования его возраст к началу 4 – го года пятилетки составит один год. Как видно из таблицы 3, при таком возрасте оборудования его менять не следует, поэтому возраст оборудования к началу 5 – го года пятилетки составит два года, т.е. менять оборудование нецелесообразно (смотрите таблицу 2).

Итак, получается следующий оптимальный план замены оборудования (смотрите таблицу 6).

Таблица 6

	Годы пятилетки
Оптимальное решение (управле-ние)	Сохранить оборудование	Сохранить оборудование	Произвести замену оборудования	Сохранить оборудование	Сохранить оборудование

Контрольные вопросы

1) В чем суть метода динамического программирования?

2) Каковы достоинства и недостатки метода динамического программирования?