Гессіан

Матриця Гессе — квадратна матриця елементами якої є часткові похідні деякої функції. Це поняття запровадив Людвіг Отто Гессе (1844), використовуючи іншу назву. Термін «матриця Гессе» належить Джеймсу Джозефу Сильвестрові.

Визначення

Формально, нехай дано дійсну функцію від n змінних:

${\displaystyle f(x_{1},x_{2},\dots ,x_{n}),\,\!}$

якщо у функції f існують всі похідні другого порядку, то можна визначити матрицю Гессе для цієї функції:

${\displaystyle H(f)_{ij}(x)={\frac {\partial ^{2}f}{\partial x_{i}\,\partial x_{j}}}\,\!}$

де ${\displaystyle x=(x_{1},x_{2},...,x_{n}),}$ тобто ${\displaystyle H(f)={\begin{bmatrix}{\frac {\partial ^{2}f}{\partial x_{1}^{2}}}&{\frac {\partial ^{2}f}{\partial x_{1}\,\partial x_{2}}}&\cdots &{\frac {\partial ^{2}f}{\partial x_{1}\,\partial x_{n}}}\\\\{\frac {\partial ^{2}f}{\partial x_{2}\,\partial x_{1}}}&{\frac {\partial ^{2}f}{\partial x_{2}^{2}}}&\cdots &{\frac {\partial ^{2}f}{\partial x_{2}\,\partial x_{n}}}\\\\\vdots &\vdots &\ddots &\vdots \\\\{\frac {\partial ^{2}f}{\partial x_{n}\,\partial x_{1}}}&{\frac {\partial ^{2}f}{\partial x_{n}\,\partial x_{2}}}&\cdots &{\frac {\partial ^{2}f}{\partial x_{n}^{2}}}\end{bmatrix}}.}$

Визначник цієї матриці називається визначником Гессе, або гесіаном.

Значення матриці Гессе пояснюється її появою у формулі Тейлора:

${\displaystyle y=f(\mathbf {x} +\Delta \mathbf {x} )\approx f(\mathbf {x} )+J(\mathbf {x} )\Delta \mathbf {x} +{\frac {1}{2}}\Delta \mathbf {x} ^{\mathrm {T} }H(\mathbf {x} )\Delta \mathbf {x} }$

Матриці Гессе використовуються в задачах оптимізації методом Ньютона. Повне обчислення матриці Гессе може бути досить складним, тому були розроблені квазіньютонові алгоритми, засновані на наближених виразах для матриці Гессе. Найвідоміший з них — алгоритм Бройдена — Флетчера — Гольдфарба — Шанно.

Симетрія матриці Гессе

Мішані похідні функції f — це елементи матриці Гессе, що стоять не на головній діагоналі. Якщо вони неперервні, то порядок диференціювання не важливий:

${\displaystyle {\frac {\partial }{\partial x}}\left({\frac {\partial f}{\partial y}}\right)={\frac {\partial }{\partial y}}\left({\frac {\partial f}{\partial x}}\right).}$

Це можна також записати як

${\displaystyle f_{yx}=f_{xy}.\,}$

В цьому випадку матриця Гессе є симетричною.

Критичні точки функції

Докладніше: Тест другої часткової похідної

Якщо градієнт ${\displaystyle f}$ (її векторна похідна) рівний нулю в деякій точці ${\displaystyle x_{0}}$, то ця точка називається критичною.

• Якщо матриця Гессе є додатно визначеною в точці ${\displaystyle x_{0}}$, то ${\displaystyle x_{0}}$ — точка локального мінімуму функції ${\displaystyle f(x)}$.
• Якщо матриця Гессе є від'ємно визначеною в точці ${\displaystyle x_{0}}$, то ${\displaystyle x_{0}}$ — точка локального максимуму функції ${\displaystyle f(x)}$.
• Якщо матриця Гессе не є ні додатно визначеною, ні від'ємно визначеною, причому є невиродженою (тобто ${\displaystyle (\det H(f)\neq 0)}$), то ${\displaystyle x_{0}}$ — сідлова точка функції ${\displaystyle f(x)}$.

Обрамлена матриця Гессе

У випадку оптимізації з додатковими умовами виникає також поняття обрамленої матриці Гессе. Нехай знову маємо функцію:

${\displaystyle f(x_{1},x_{2},\dots ,x_{n}),}$

але тепер також розглянемо умови:

${\displaystyle g_{i}(x_{1},x_{2},\dots ,x_{n})=0,1\leqslant i\leqslant m,\,m<n}$

При оптимізації функції f з додатковими умовами обрамлена матриця Гессе має вигляд:

${\displaystyle H(f,g)={\begin{bmatrix}0&\cdots &0&{\frac {\partial g_{1}}{\partial x_{1}}}&{\frac {\partial g_{1}}{\partial x_{2}}}&\cdots &{\frac {\partial g_{1}}{\partial x_{n}}}\\\\\vdots &\ddots &\vdots &\vdots &\vdots &\ddots &\vdots \\\\0&\cdots &0&{\frac {\partial g_{m}}{\partial x_{1}}}&{\frac {\partial g_{m}}{\partial x_{2}}}&\cdots &{\frac {\partial g_{m}}{\partial x_{n}}}\\\\{\frac {\partial g_{1}}{\partial x_{1}}}&\cdots &{\frac {\partial g_{m}}{\partial x_{1}}}&{\frac {\partial ^{2}f}{\partial x_{1}^{2}}}&{\frac {\partial ^{2}f}{\partial x_{1}\,\partial x_{2}}}&\cdots &{\frac {\partial ^{2}f}{\partial x_{1}\,\partial x_{n}}}\\\\{\frac {\partial g_{1}}{\partial x_{2}}}&\cdots &{\frac {\partial g_{m}}{\partial x_{2}}}&{\frac {\partial ^{2}f}{\partial x_{2}\,\partial x_{1}}}&{\frac {\partial ^{2}f}{\partial x_{2}^{2}}}&\cdots &{\frac {\partial ^{2}f}{\partial x_{2}\,\partial x_{n}}}\\\\\vdots &\ddots &\vdots &\vdots &\vdots &\ddots &\vdots \\\\{\frac {\partial g_{1}}{\partial x_{n}}}&\cdots &{\frac {\partial g_{m}}{\partial x_{n}}}&{\frac {\partial ^{2}f}{\partial x_{n}\,\partial x_{1}}}&{\frac {\partial ^{2}f}{\partial x_{n}\,\partial x_{2}}}&\cdots &{\frac {\partial ^{2}f}{\partial x_{n}^{2}}}\end{bmatrix}}}$

Для даної матриці можна сформувати різні головні мінори. Позначимо ${\displaystyle |H_{i}(f,g)|,\,2\leqslant i\leqslant n}$ — головний мінор матриці, для якого останнім елементом на головній діагоналі є ${\displaystyle {\frac {\partial ^{2}f}{\partial x_{i}^{2}}}.}$ Тоді можна сформувати достатні умови екстремуму для функції при виконанні обмежень.

Функція буде мати максимум при виконанні умов, якщо знаки послідовних n - m мінорів ${\displaystyle |H_{i}(f,g)|,m+1\leqslant i\leqslant n,}$ будуть чергуватися, при чому знак ${\displaystyle |H_{i}(f,g)|}$ буде рівний ${\displaystyle (-1)^{m+1}.}$

Функція буде мати мінімум при виконанні умов, всі послідовні n - m мінорів ${\displaystyle |H_{i}(f,g)|,m+1\leqslant i\leqslant n,}$ мають один знак, а саме ${\displaystyle (-1)^{m}.}$

Варіації і узагальнення

Якщо f — векторзначна функція, тобто

${\displaystyle f=(f_{1},f_{2},\dots f_{n}),}$

то її другі часткові похідні утворюють не матрицю, а тензор рангу n+1.

Література

• Григорій Михайлович Фіхтенгольц. Курс диференціального та інтегрального числення. — 2024. — 2200+ с.(укр.)
• Кудрявцев Л. Д. Математический анализ. — М. : Высшая школа, 2004. — Т. 2. — 720 с.(рос.)
• Chiang, Alpha C., Fundamental Methods of Mathematical Economics, third edition, McGraw-Hill, 1984.
• Nocedal, Jorge; Wright, Stephen J. (2006), Numerical Optimization (2nd ed.), Berlin, New York: Springer-Verlag,