Необходимые условия оптимальности для непрерывного случая. Непрерывный принцип минимума (максимума)

Решение задач, связанных с оптимизацией непрерывных как стохастических, так и детерминированных систем, практически всегда требует дискретизации. Можно указать два подхода к такой дискретизации.

Первый состоит в переходе от исходной непрерывной задачи к дискретной сразу до ее решения. При этом дифференциальные уравнения, описывающие поведение системы, заменяются конеч­но-разностными. Соответствующим образом преобразуется и кри­терий оптимальности. Для решения полученной вновь задачи мо­гут быть применены либо условия оптимальности для дискретных систем, либо соответствующие численные методы поиска опти­мального управления.

Второй подход связан с использованием необходимых условий оптимальности, полученных непосредственно для исходной непре­рывной задачи. Эти условия в явном виде редко позволяют полу­чить решение задачи оптимизации. Они обычно лишь трансформи­руют исходную задачу в некоторую другую, например связанную с решением краевой задачи для системы дифференциальных урав­нений, при решении которой в конечном счете приходится прово­дить также дискретизацию.

Заранее бывает трудно отдать предпочтение какому-либо од­ному из этих подходов. Первый подход, очевидно, более прост в реализации при получении численного решения задачи, обладает определенной универсальностью, так как фактически исходную за­дачу сводит,к специальной задаче.математического программиро­вания, для решения которой в настоящее время накоплен богатый опыт. Однако применение второго подхода иногда позволяет более просто выявить структуру оптимального управления, а в некото­рых случаях и найти более эффективный способ решения задачи в целом.

Учитывая это, рассмотрим необходимые условия оптимально­сти в задаче программирования оптимального управления непре­рывной стохастической системой и их применение для решения конкретных задач.

Пусть динамическая система на интервале времени [0, Т] опи­сывается следующим стохастическим дифференциальным уравне­нием

где x=x(t), u = u(t) —векторы состояния и управления соответст­венно в текущий момент, , U — множество допустимых управ­лений; —вектор-функция, непрерывно дифференцируемая по своим аргументам; —случайный процесс; с извест­ными статистическими характеристиками.

Задача программирования оптимального управления заключа­ется в отыскании такой временной зависимости u(t), которая обеспечивает перевод системы (4.36) из заданного начального состояния х(0)=х₀ в некоторое конечное состояние х(Т) с мини­мальным значением критерия

Наиболее просто необходимые условия оптимальности для сфор­мулированной задачи получаются в предположении, что непрерыв­ные случайные процессы и x(t) могут быть представлены в виде дискретных последовательностей случайных векторов , которые при стремлении интервала дискретности Δ к нулю стягиваются к исходным процессам и x(t). В этом слу­чае для малых Δ (с точностью до членов первого порядка малости) вместо уравнения (4.36) и критерия (4.37) можно записать их ко­нечно-мерные аналоги

Исходная задача, таким образом, в первом приближении оказыва­ется эквивалентной задаче программирования оптимального уп­равления , изученной нами ранее. Поэтому для нее необходимые условия оптимальности можно выписать. С этой целью составим гамильтониан для этой задачи, обозначая его че­рез :

где сопряженный вектор удовлетворяет при этом уравнению

при граничном условии

Тогда, если — оптимальная последовательность, то согласно (4.10) имеют место следующие условия:

для всех допустимых т. е. удовлетворяющих условию .

Смысл этих условий состоит в неотрицательности вариации терминального критерия , получаемой за счет вариации управле­ния в i -й момент:

Установим связь вариации с вариацией фазового вектора , вызываемой в свою очередь вариацией управления . С этой целью примем, что вариации управления во все другие мо­менты времени, кроме i -го, равны нулю, т. е. при , а . Тогда для моментов вариация вектора будет тождественно равна нулю. Для момента j = i+1 в соответствии с уравнением (4.38) будем иметь

а для моментов j>i +l вектор удовлетворяет уравнению в отк­лонениях

Здесь через обозначено любое допустимое управление в отличие от оптимального управления .

Покажем, что скалярное произведение вектора , определя­емого уравнением (4.41), и сопряженного вектора , определяемо­го в соответствии с (4.39), представляет собой постоянную величи­ну для любых . Действительно, согласно (4.39) и (4.41)

Но для момента j = N+1 согласно (4.38), (4.39) математическое ожидание этого произведения определяет вариацию критерия оп­тимальности

которая должна быть неотрицательной. Поэтому условие опти­мальности (4.40) можно представить так:

или, раскрывая вариацию вектора , в развернутом виде

Полученное соотношение, как уже было установлено, справедливо для любого допустимого управления и для любого момента времени . Если теперь ввести в рассмотрение новый га­мильтониан в виде

то условию оптимальности можно придать следующий вид:

или окончательно

Таким образом, для дискретной системы (4.38) при малых зна­чениях интервала дискретности оказывается справедливым диск­ретный принцип минимума по отношению к гамильтониану (4.42) независимо от свойства гамильтониана и допустимого множе­ства .

Осуществим теперь предельный переход во всех соотношениях, определяющих необходимые условия оптимальности. Для этого устремим интервал дискретности Δ к нулю. Соотношения (4.38) примут вид исходного дифференциального уравнения (4.36) и ис­ходного критерия (4.37), а конечно-разностное уравнение (4.39) для сопряженного вектора перейдет в дифференциальное урав­нение

с граничным условием

Необходимые условия оптимальности (4.43) примут вид непрерыв­ного принципа минимума

где гамильтониан

Смысл условия (4.45) заключается в том, что при оптимальном управлении в каждый момент времени математическое ожидание гамильтониана достигает своего минимального (по управлению) значения. С учетом вида гамильтониана (4.46) уравнение для со­пряженного вектора можно записать в виде

Благодаря принципу минимума (4.45), исходная задача определе­ния оптимальной программы управления u(t) из условия миними­зации функционала (4.37) редуцируется к краевой задаче для си­стемы стохастических уравнений (4.36) и (4.47). Для исходных уравнений (4.36) граничное условие x(0) задано «слева», т. е. в на­чальный момент, а для сопряженных уравнений (4.47) — «спра­ва», т. е. в конечный момент времени в виде условия (4.44). Опти­мальное управление должно удовлетворять этим краевым условиям и одновременно обращать в минимум математическое ожидание га­мильтониана.

Если, как и при рассмотрении дискретного случая, в качестве граничного условия для сопряженного вектора принять условие , т. е. изменить в условии (4.44) знак на обратный, то необходимое условие оптимальности (4.45) примет более при­вычную форму принципа максимума:

Если в исходной задаче критерий оптимальности имеет более сложную интегротерминальную структуру вида

то путем введения дополнительной переменной , определяемой с помощью дифференциального уравнения

критерий (4.48) сразу сводится к терминальному виду

по отношению к вектору состояния х и дополнительной переменной совместно.

Составим гамильтониан для данной расширенной задачи:

Здесь сопряженная компонента удовлетворяет уравнению

при граничном условии . Следовательно, является неслучайной постоянной величиной . По­этому гамильтониан в данном случае представляется в форме

Уравнение для сопряженного вектора согласно (4.44) принимает вид

Граничные условия для сопряженного вектора сохраняют преж­ний вид, т. е. имеет место равенство (4.44).

Таким образом, для задачи оптимального управления системой (4.36) с критерием вида (4.48) необходимые условия оптимально­сти имеют тот же самый вид (4.45) с учетом (4.47), (4.44), что и для задачи с терминальным критерием (4.37), за исключением лишь вида самого гамильтониана. Теперь он имеет вид (4.49) вместо (4.46).

Обсудим частный случай задачи управления — детерминирован­ный, т. е. случай, когда отсутствуют какие-либо возмущения: х(0) — известно; . Характерная особенность этого случая состоит в том, что как векторы x(t) и , так и сам гамильтониан теперь являются неслучайными. Необходимые условия оптимальности уп­рощаются. В них опускается операция математического ожидания, поскольку математическое ожидание неслучайной величины есть сама величина. Например, для случая управления терминальным состоянием они принимают вид

где вектор определяется путем решения краевой задачи для ис­ходной системы уравнений

и сопряженной