Функція цінності

Функція цінності оптимізаційної задачі дає значення, отримане виконанням цільової функції, але тільки в залежності від параметрів задачі. У керованій динамічній системі функція цінності представляє оптимальний винагороду системи на інтервалі [t, t₁] при старті в момент часу t стану x(t)=x. Якщо цільова функція представляє деяку вартість, яку потрібно мінімізувати, функцію цінності можна інтерпретувати як собівартість завершення оптимальної програми, і тому її називають «функцією собівартості». В економічному контексті, де цільова функція зазвичай представляє корисність, функція цінності концептуально еквівалентна функції непрямої корисності.

У задачі оптимального керування функція цінності визначається як супремум цільової функції, взятий на множині допустимих дій. При ${\displaystyle (t_{0},x_{0})\in [0,t_{1}]\times \mathbb {R} ^{d}}$, типова задача оптимального керування полягає в

${\displaystyle {\text{maximize}}\quad J(t_{0},x_{0};u)=\int _{t_{0}}^{t_{1}}I(t,x(t),u(t))\,\mathrm {d} t+\phi (x(t_{1}))}$

за умови, що

${\displaystyle {\frac {\mathrm {d} x(t)}{\mathrm {d} t}}=f(t,x(t),u(t))}$

з початковим станом ${\displaystyle x(t_{0})=x_{0}}$. Цільова функція ${\displaystyle J(t_{0},x_{0};u)}$ має бути максимізовано за всіма допустимими діями ${\displaystyle u\in U[t_{0},t_{1}]}$, де ${\displaystyle u}$ є функцією вимірною за мірою Лебега, яка відображає інтервал ${\displaystyle [t_{0},t_{1}]}$ у визначену підмножину ${\displaystyle \mathbb {R} ^{m}}$. Тоді функція цінності має вигляд

${\displaystyle V(t,x(t))=\max _{u\in U}\int _{t}^{t_{1}}I(\tau ,x(\tau ),u(\tau ))\,\mathrm {d} \tau +\phi (x(t_{1}))}$

з ${\displaystyle V(t_{1},x(t_{1}))=\phi (x(t_{1}))}$, де ${\displaystyle \phi (x(t_{1}))}$ — це «втрати». Якщо ${\displaystyle (x^{\ast },u^{\ast })}$ — це оптимальна пара векторів дій та станів, то ${\displaystyle V(t_{0},x_{0})=J(t_{0},x_{0};u^{\ast })}$. Функція ${\displaystyle h}$, яка повертає оптимальний вектор дій ${\displaystyle u^{\ast }}$ для стану ${\displaystyle x}$ називається функцією стратегії.

Принцип оптимальності Беллмана стверджує, що будь-яка оптимальна стратегія в часі ${\displaystyle t}$, ${\displaystyle t_{0}\leqslant t\leqslant t_{1}}$ приймаючи поточний стан ${\displaystyle x(t)}$ за «новий» початковий стан буде оптимальною і для решти задачі. Якщо функція цінності є безперервно диференційованою, то вона зводиться до диференціального рівняння в частинних похідних, відомого як рівняння Гамільтона–Якобі–Беллмана,

${\displaystyle -{\frac {\partial V(t,x)}{\partial t}}=\max _{u}\left\{I(t,x,u)+{\frac {\partial V(t,x)}{\partial x}}f(t,x,u)\right\}}$

де максимум у правій частині також можна переписати як ^[en],

${\displaystyle H\left(t,x,u,\lambda \right)=I(t,x,u)+\lambda (t)f(t,x,u)}$, як

${\displaystyle -{\frac {\partial V(t,x)}{\partial t}}=\max _{u}H(t,x,u,\lambda )}$

з ${\displaystyle \partial V(t,x)/\partial x=\lambda (t)}$ відіграють роль ^[en]. Враховуючи це, маємо ${\displaystyle \mathrm {d} \lambda (t)/\mathrm {d} t=\partial ^{2}V(t,x)/\partial x\partial t+\partial ^{2}V(t,x)/\partial x^{2}\cdot f(x)}$, і після диференціювання обох сторін рівняння Гамільтона–Якобі–Беллмана відносно ${\displaystyle x}$ рівняння має вигляд

${\displaystyle -{\frac {\partial ^{2}V(t,x)}{\partial t\partial x}}={\frac {\partial I}{\partial x}}+{\frac {\partial ^{2}V(t,x)}{\partial x^{2}}}f(x)+{\frac {\partial V(t,x)}{\partial x}}{\frac {\partial f(x)}{\partial x}}}$

яке після заміни відповідних членів відновлює ^[en]

${\displaystyle -{\dot {\lambda }}(t)=\underbrace {{\frac {\partial I}{\partial x}}+\lambda (t){\frac {\partial f(x)}{\partial x}}} _{={\frac {\partial H}{\partial x}}}}$

де ${\displaystyle {\dot {\lambda }}(t)}$ це нотація Ньютона для похідної за часом.

Функція цінності є унікальним ^[en] рівняння Гамільтона–Якобі–Беллмана. У замкненій онлайн системі з наближено-оптимальним управлінням функція цінності також є функцією Ляпунова, яка встановлює глобальну асимптотичну стійкість замкнутої системи.

Примітки

1. ; Rishel, Raymond W. (1975). Deterministic and Stochastic Optimal Control. New York: Springer. с. 81—83. ISBN .
2. Caputo, Michael R. (2005). Foundations of Dynamic Economic Analysis : Optimal Control Theory and Applications. New York: Cambridge University Press. с. 185. ISBN .
3. Weber, Thomas A. (2011). Optimal Control Theory : with Applications in Economics. Cambridge: The MIT Press. с. 82. ISBN .
4. Bertsekas, Dimitri P.; Tsitsiklis, John N. (1996). Neuro-Dynamic Programming. Belmont: Athena Scientific. с. 2. ISBN .
5. EE365: Dynamic Programming (PDF).
6. ; ; Green, Jerry R. (1995). Microeconomic Theory. New York: Oxford University Press. с. 964. ISBN .
7. Corbae, Dean; Stinchcombe, Maxwell B.; Zeman, Juraj (2009). An Introduction to Mathematical Analysis for Economic Theory and Econometrics. Princeton University Press. с. 145. ISBN .
8. ; Schwartz, Nancy L. (1991). Dynamic Optimization : The Calculus of Variations and Optimal Control in Economics and Management (вид. 2nd). Amsterdam: North-Holland. с. 259. ISBN .
9. ; (2018). Recursive Macroeconomic Theory (вид. Fourth). Cambridge: MIT Press. с. 106. ISBN .
10. Benveniste and Scheinkman established sufficient conditions for the differentiability of the value function, which in turn allows an application of the envelope theorem, see Benveniste, L. M.; Scheinkman, J. A. (1979). On the Differentiability of the Value Function in Dynamic Models of Economics. Econometrica. 47 (3): 727—732. doi:10.2307/1910417. JSTOR 1910417. Also see Seierstad, Atle (1982). Differentiability Properties of the Optimal Value Function in Control Theory. Journal of Economic Dynamics and Control. 4: 303—310. doi:10.1016/0165-1889(82)90019-7.
11. Kirk, Donald E. (1970). Optimal Control Theory. Englewood Cliffs, NJ: Prentice-Hall. с. 88. ISBN .
12. Zhou, X. Y. (1990). Maximum Principle, Dynamic Programming, and their Connection in Deterministic Control. Journal of Optimization Theory and Applications. 65 (2): 363—373. doi:10.1007/BF01102352.
13. Theorem 10.1 in Bressan, Alberto (2019). Viscosity Solutions of Hamilton-Jacobi Equations and Optimal Control Problems (PDF). Lecture Notes.
14. Kamalapurkar, Rushikesh; Walters, Patrick; Rosenfeld, Joel; Dixon, Warren (2018). Optimal Control and Lyapunov Stability. Reinforcement Learning for Optimal Feedback Control: A Lyapunov-Based Approach. Berlin: Springer. с. 26—27. ISBN .

Подальше читання

• Caputo, Michael R. (2005). Necessary and Sufficient Conditions for Isoperimetric Problems. Foundations of Dynamic Economic Analysis : Optimal Control Theory and Applications. New York: Cambridge University Press. с. 174–210. ISBN .
• Clarke, Frank H.; Loewen, Philip D. (1986). The Value Function in Optimal Control: Sensitivity, Controllability, and Time-Optimality. SIAM Journal on Control and Optimization. 24 (2): 243—263. doi:10.1137/0324014.
• LaFrance, Jeffrey T.; Barney, L. Dwayne (1991). The Envelope Theorem in Dynamic Optimization (PDF). Journal of Economic Dynamics and Control. 15 (2): 355—385. doi:10.1016/0165-1889(91)90018-V.
• Stengel, Robert F. (1994). Conditions for Optimality. Optimal Control and Estimation. New York: Dover. с. 201—222. ISBN .