уравнение (15.22) и есть функциональное уравнение Беллмана в общей форме. Оно выражает необходимое условие оптимальности.

Для любого состояния л: и момента времени t, когда функции df*ldt.

df*ldx и / {х, и, t) непрерывны по л: и , полную производную можно записать так:

L dt iu.t

] ..= ()V(> .0 + . (15.23)

Так как частная производная df*ldt не зависит от и (предлагаем ответить почему?), уравнение (15.22) можно представить в виде

mm \L(x(tt,t),u,t) + (Y f{x,u,t)\. (15.24)

Уравнение (15.24) представляет собой частный случай уравнения (15.22), хотя его и называют функциональным уравнением Беллмана. В тех случаях, когда это уравнение применимо, оно обеспечивает необходимое условие оптимальности Уравнение (15.24) является необычной формой дифференциального уравнения в частных производных, которое включает операцию минимизации.

Рассмотрим вначале лишь уравнение (15.24). Мы видим, что это дифференциальное уравнение (вообще говоря нелинейное) первого порядка в частных производных относительно одной переменной /*. Это уравнение определяет одноточечную краевую задачу с граничным условием вида

Иш /* (jci, tl) = lim J L (л:*, и*, t) dt = 0. (15.25)

В действительности это условие соответствует трем. Во-первых, оно указывает, как следует вести поиск оптимальной и (t); а именно: в любой момент времени t поиск должен быть таким, чтобы минимизировать величину в уравнении (15.24), заключенную в квадратные скобки. Во-вторых, если функция оптимального управления ю* (t) найдена, то (15.24) сводится к уравнению без операции минимизации

-.L{x{tt4t),t), u*,t) + {yf{xiu*{t)J),tt*{t),t), (15.26)

которому удовлетворяет функция /* (л:, t) для всех значений t в интервале [tl, tl- И, наконец, в-третьих, так как уравнения (15.24) и (15.25) справедливы для всех начальных состояний, то упомянутое в предыдущем параграфе свойство погружения задачи верно и для непрерывного случая.

При отсутствии ограничений на величину и при условии, что функции L и f имеют частные производные по в, оптимальное управление и* (t) можно найти путем дифференцирования выражения, заключенного в квадратные скобки в уравнении (15.24), и приравнивания полученного результата к нулю. Это дает условие

dL- \л дГ dfi

ди dxi dti

= 0 для всех t£[ti, t]. (15.27)

1) Для всех рассматриваемых в данной главе задач уравнение (15.24) справедливо, о чем и говорится в § 15.16.

Если показатель качества соответствует задаче Майера, а именно: f = Р {х (t), t), то, придерживаясь по существу тех же рассуждений, что и выше, получим соответствующее уравнение Беллмана (см. задачу 15.6)

= О (15.28а)

с граничным условием

lim /* {X ih), t) = Р{х {Q, t,). (15.286)

В тех случаях, когда функции df*ldt, df*ldx и / (л:, и, t) непрерывны по л: и , имеем

. min UVfx,tt,t)\ (15.29)

с тем же граничным условием (15.28).

Заметим, что тип граничного условия для конечного состояния не играет роли при выводе функционального уравнения. Таким образом, уравнение Беллмана (15.22) или (15.24) справедливо для задачи, рассматриваемой в данном параграфе, даже есликонечное состояние х- задано, а конечный момент времени нет. Здесь условие (15.25) по-прежнему справедливо, и нет необходимости при выводе уравнения Беллмана вносить какие-либо изменения.

15.4. СИНТЕЗ ОПТИМАЛЬНОГО УПРАВЛЕНИЯ В СИСТЕМАХ С ЛИНЕЙНЫМИ ОБЪЕКТАМИ И КВАДРАТИЧНЫМ КРИТЕРИЕМ

КАЧЕСТВА

Выше было указано, что динамическое программирование обладает тем свойством, что оптимальная функция управления *, определяемая с помощью этого метода, обычно записывается в функции переменных состояния л:, и, следовательно, синтезируется система с обратной связью. Однако использование динамического программирования требует решения уравнения Беллмана. Первоначальная попытка получить решение задачи оптимизации была связана с получением 2я дифференциальных уравнений (с помощью вариационного исчисления или принципа максимума) с двухточечными граничными условиями. С другой стороны, задача решается с помощью одного дифференциального уравнения в частных производных с граничными условиями в одной точке. Преимущество второго метода над первым не столь очевидно.

Поэтому рассмотрим случай, когда уравнение Беллмана непосредственно поддается решению. С таким случаем сталкиваемся при решении задачи оптимального управления линейным объектом, когда показателем качества служит интеграл от квадратической формы по переменным х м. и. Этот тип задач был кратко рассмотрен в гл. 13. Пиже будет показано, что благодаря использованию динамического программирования можно глубже уяснить существо этих задач.

Прежде чем перейти к рассмотрению задачи в общем виде, целесообразно обратиться к конкретному примеру.

Пример 15.1. Рассмотрим объект первого порядка х= - ах + Ъи. Необходимо минимизировать функционал / = I (Ci-f + Са ) dt и найти оптимальное линейное управление

в интервале времени [О, Т \ вида и (t) = -q (t) х (t), которое существует для любой начальной точки X (0). Конечное состояние не задано.

Для этой задачи уравнение Беллмана (15.24) принимает вид

mm и L

(-ах Л- Ьи)

(15.30)

Так как ограничение на величину и (t) отсутствует, для определения минимума правую часть уравнения Беллманаможно продифференцировать по к и приравнять полученный результат нулю; тогда получим

b df*

2cz дх

Подстановка соотношения (15.31) в уравнение (15.30) дает

df* , df

-ax-

2c2 dx

b df*

2c dx

(15.31)

(15.32)

Граничное условие для рассматриваемой здесь задачи, определяемое уравнением (15.25), имеет вид lim/* (х, t) = 0.

Простейший подход к решению дифференциального уравнения в частных производных такого вида сводится к попытке разделить переменные и представить решение в виде f* (х, f) = = р (t)r (х). Из соотношения (15.31) и требования, чтобы управление и (t) имело форму q (t)x (t), делаем вывод о том, что соответствующая функция для г (х) имеет вид х:

Подставив f* - p (t) х (t) в уравнение (15.32), получим

+ 2хр ( а.-- 2.р) + + с, 2хрУ ] = 0.

Далее находим, что р () удовлетворяет нелинейному дифференциальному уравнению

+ ci = 0 (15.33)

Ф. 2ар-

(15.34)

с граничным условием lim/* (t, х) = limр (t) х = О, откуда

Р (Т) = 0.

Это значит, что f* = p (t) х будет представлять собой решение уравнения (15.32) при условии существования решения р (t) из уравнения (15.33) с учетом граничного условия (15.34).

Уравнение (15.33) есть дифференциальное уравнение типа Риккати (см., например, работу [83]); в этом конкретном случае его можно проинтегрировать путем разделения переменных

Mbldp-dt. (15.35)

{2cza/b) р - cicjb

Если pi и Р2 - корни многочлена р + {2сф,1Ъу.р- - CjCg/b = О, то общее решение для уравнения (15.35) имеет вид

Р (О - Pi хп

- (Pl Ра) t

(15.36)

- Pjk ехр [(ЬУСа) (Pi - Рг) ] + Pi, f \-.kexvl(bVcz)(Pi-pz)t]

(15.37)

Используя граничное условие р (Т) = О, находим

p., ехр [(bVcz) (Pi~Pz)T]-

Рис. 15.1. Оптимальная система управления, рассматриваемая в примере 15.1

(15.38)

, Таким образом, имеем /* (х, t)== р (t) х для любой начальной точки х и начального времени t; отсюда из выражения (15.31) найдем

*/ b df* bp it) - .

(0 =--2~c-----r - (15.39)

Получаемая в результате система управления с обратной связью приведена на рис. 15.1. Она линейна, но нестационарна.