Таким образом, сопряженный вектор, соответствующий оптимальной траектории, представляет собой вектор, направленный в сторону, противоположную направлению градиента критерия оптимальности /*. Так как вектор градиента направлен в сторону быстрейшего изменения функции, то вектор ф располагается в каждый момент времени в направлении быстрейшего изменения критерия оптимальности.

Для {засширенной системы, рассмотренной в § 14,3, мы имеем Н = = х. При этом принцип оптимальности дает -dfldx = я]:. Ита,к, условие max Я в принципе максимума означает, что в расширенном п + 1-

мерном пространстве управлений и* % следует выбирать таким образом, чтобы в любой момент времени составляющая вектора х в направлении наискорейшего убывания величины f* была максимально большой.

Из выражения (15.616) видно, что оптимальная функция Гамильтона Н* равна скорости изменения критерия оптимальности при отсчете времени от выбранной начальной точки.

Поэтому ясно, почему в случае оптимального по быстродействию управления стационарным объектом функция Я* должна обязательно равняться нулю. Последнее видно из рассмотрения величины df* {х, t)ldt. Напомним что t ъ f* [х, t) представляет собой начальное время. При фиксированной начальной точке (л: в /* (л:, t)) оптимальное время достижения любой данной точки не зависит от начального времени для стационарного объекта управления; следовательно. Я* = 0.

Действительно, рассуждая, как и в приведенном выше случае, видно, что всякий раз, когда управляемый объект и функция стоимости L не зависят явно от времени, а конечное время не фиксировано, то dfldt будет всегда равняться нулю и, следовательно, во всех этих случаях Я* = 0.

Выражая уравнение Беллмана через гамильтониан Я, можно записать

-Я (л:*, и\ t, )=0. (15.62)

Это уравнение совпадает с уравнением Гамильтона-Якоби Зная зависимость между принципом максимума и динамическим программированием, можно развить дальше результат, полученный в предыдущем параграфе.

Предположим, требуется найти оптимальное линейное управление с обратной связью для системы с точно определенным входным сигналом z (t). Цель управления состоит в том, чтобы удерживать выходной сигнал близким к входному, не затрачивая при этом чрезмерно много энергии. Задачу можно сформулировать следующим образом.

Пусть выходной сигнал объекта х = А {fjx + В (t) и определяется как у (t) = С (t) X (t), где векторы л: и у соответственно п- и /п-мерны. Пусть входной сигнал есть /п-мерный вектор z (t), а ошибка системы равна е (t) = Z (t) - у (t). Соответствующий показатель качества имеет вид

f = e ih) Me ih) + \ {e (т) Q (т) e (т) + и (t) R (т) и (т)) dx;

(15.63)

его необходимо минимизировать, найдя оптимальное управление и* (х, t).

) По этой причине некоторые авторы часто называют уравнение Беллмана уравнением Гамильтона-Якоби.

Используя результаты данного параграфа, определим гамильтониан H==~-{z{t)-C{t)x {t)Y Q it) (z {t) ~C{t)x (t)) - (tt {tf R it) и it)) +

+ {Ait)xit))\it) + {Bit)uit)yit). (15.64)

Оптимальную функцию управления и* {t) найдем из уравнения = О, откуда

uit)= ~Rr\t)B\t)it)R-it)BiO , (15.65)

что имеет смысл при условии существования обратной матрицы R it) для всех t.

Линейный блок

Рис. 15.3 : а) Конфигурация общей оптимальной системы управления линейным объектом.. Задача этой системы заключается в том, чтобы минимизировать показатель качества в виде (15.53), где е (О = 2 (О -C{t)x {ty, 6) структура блока L; приведенного на рис. 15.3а

m)x(t)

P(t)

wm=-[(t)-BWR-4mmp(t)fw(t)

-C(t)Q<t)zH)

w(t)

u*im-4m(i)

[wlt)-p(t)xlt)]

u*(t)

P(t)x(t)

>

Линейный блок

Если предполагать управление линейным, то исходя из принципа суперпозиции, разумно ожидать, что оптимальное линейное управление * (л:, t) будет представлять собой сумму двух частей, одна из которых зависит только от входного сигнала (и от структуры системы), а вторая - от выходного. Это предполагает структуру системы, которая показана на рис. 15.3а.

В частности, исходя из структуры системы для случая z it) = О в общем случае структуру линейного блока L (рис. 15.3а) можно принять следующей:

и it) = R-\t)B\t) (wit)-Pit) xit)), (15.66)

где w it) - п-мерный вектор, который является результатом выполнения линейной операции над /п-мерным вектором z if). При и* it), имеющем форму (15.66), /* (л , t) принимает вид

Г (X, t) = -x it) Рit) X it) + it) л: (/) + 4 6>

где V it) - скалярная функция, определяющая явную зависимость функции /* (л:, t) от времени. ,

Из выражений (15.25) и (15.28) следует, что граничное условие для /* (л:, О имеет вид

г{х, h) = e{tMe{t. (15.68)

После подстановки выражений (15.67) и (15.68) в уравнение Беллмана (15.62) и выполнения некоторых алгебраических операций приходим к выводу о том, что оптимальное линейное управление вида (15.66) возможно, если:

1) симметричная матрица Р (t) размерности п X п удовлетворяет матричному уравнению Риккати (15.46);

2) п-мерный вектор W (t) удовлетворяет линейному векторно-матрич-ному дифференциальному уравнению

[A{t)~B{t)R-\t)B{t)P{t)\-w{t)-C{t)Q{t)z{t) (15.69) с граничным условием в момент времени t-

w{U) = Citz)Mih); (15.70)

3) скалярная функция v (t) есть решение дифференциального уравнения

гг = () - () ()) () ()) (1-71)

с граничным условием в момент времени t,

v{tz) = 2z{tz)Mz{tz). (15.72)

Калману удалось показать, что приведенные выше результаты 1-3 не только являются достаточными условиями сушествования линейного оптимального управления, но и необходимы

Реализация этого оптимального управления показана на рис. 15.36.

Сделаем ряд замечаний относительно оптимальных линейных законов управления. Хотя теория, относящаяся к данному классу систем, по-видимому, хорошо разработана, это не означает, что во всех конкретных случаях удается свести системы к стандартной форме и применить формулы, приведенные в § 15.4 и § 15.5: С этим классом задач связан ряд серьезных трудностей.

Во первых,-критерий (15.40) вызывает иногда сомнения в целесообразности применения, И к тому же не существует обоснованного способа выбора нужных весовых матриц М, Q (t) и R (/). Очень часто соответствующие М, Q (t) и R (t) находят методом проб и ошибок, причем наиболее удовлетворительную переходную характеристику определяют на глаз.

Во-вторых, закон оптимального управления с обратной связью использует все переменные состояния, а это обычно означает, что выход и п - 1 его производных необходимо измерять без ошибок. В большинстве реальных систем это вообще невозможно.

В-третьих, при отсутствии входного сигнала матрицу обратной связи Р (t) необходимо получить путем решения нелинейной системы уравнений (15.46). Обычно это выполняется численными методами. С инженерных позиций этот метод малоудовлетворителен не только потому, что для систем высокого порядка трудоемкость и объем вычислений существенно возрастают, но также потому, что полученный результат представляет собой совокуп-

См. в § 15.7 теорему 15.2, которая обобщает результат Калмана. , ...