Формальна постановка задачі оптимального стохастичного керування

 

Розглянемо систему (2) із цільовим функціоналом (3). Надалі, якщо інше не обговорено спеціально, будемо вважати, що оптимальні керування на кожному кроці позиційні: ,  і , .

За таких умов задача оптимального стохастичного керування полягає в пошуку оптимальної послідовності функцій керування , (тобто стратегії керування), що мінімізує сумарні витрати за увесь час функціонування системи.

Формальна постановка задачі оптимального стохастичного керування зі скінченним горизонтом у дискретному випадку має вигляд:

 

,     (4)

. (5)

 

Розв’язання задачі оптимального стохастичного керування з нескінченним горизонтом полягає в пошуку послідовності керувань , які мінімізують сумарні витрати.

Формальна постановка задачі оптимального стохастичного керування з нескінченним горизонтом у дискретному випадку має вигляд:

 

,       (6)

. (7)

 

Далі під час розв’язання задач оптимального керування вважатимемо, що границя у (6) існує для всіх  і .

Будемо розглядати задачі (4) – (5) і (6) – (7) у стаціонарному випадку, тобто припускатимемо, що простори станів і керувань  і , обмеження керування , функція  і витрати  не змінюються при переході від кожного кроку до наступного. Якщо ж це не так, то задача є нестаціонарною. Нестаціонарна задача може бути зведена до стаціонарної за допомогою спеціальних методів, тому далі мова йтиме тільки про стаціонарні задачі.

Зупинимося детальніше на позначеннях, зроблених вище.

Визначення. Функція  називається функцією витрат за  кроків при стратегії  в задачі зі скінченним горизонтом . Аналогом цієї величини для задачі з нескінченним горизонтом є функція  – функція витрат при стратегії .

Для фіксованого стану  позначимо через  і  оптимальні витрати в цих задачах, тобто

 

,

.

 

Якщо останні співвідношення вірні для всіх , то функція  називається оптимальною функцією витрат за  кроків, а  – оптимальною функцією витрат.

Стратегія  називається оптимальною при горизонті  в стані , якщо

 

,

 

і оптимальною в стані , якщо

 

.

 

Стратегія  називається оптимальною при горизонті , якщо . Це означає, що стратегія  доставляє оптимальне значення цільовому функціоналу при всіх .

Аналогічно, стратегія  називається оптимальною, якщо

 

.                                              (8)

 

Стратегія  називається рівномірно оптимальною при горизонті , якщо стратегія  оптимальна при горизонті  для всіх . Отже, якщо стратегія рівномірно оптимальна при горизонті , то вона також оптимальна при горизонті . Зворотне твердження в загальному випадку невірно.

Стратегія  називається стаціонарною стратегією, якщо .

Якщо у цьому випадку значення цільового функціонала  в задачі оптимального стохастичного керування з нескінченним горизонтом отримано з використанням стаціонарної стратегії , то результат позначають . Отже, стаціонарна стратегія  у задачі з нескінченним горизонтом оптимальна, якщо . Тут  – оптимальне значення цільового функціонала задачі.

Розв’язання будь-якої задачі оптимального стохастичного керування здійснюється за шість етапів:

1. Змістовна постановка задачі.

2. Побудова моделі об'єкта керування, що включає вибір векторів станів і керувань, просторів станів і керувань, вектора і простору випадкових збурень; побудову функції витрат, що визначається метою керування.

3. Формальна постановка задачі.

4. Вибір і обґрунтування методу розв’язання задачі.

 Обчислення оптимальної стратегії керування одним з методів.

6. Аналіз отриманих результатів.