Гессиан функции

Гессиан функции — симметрическая квадратичная форма, описывающая поведение функции во втором порядке.

Для функции $f$, дважды дифференцируемой в точке $x\in {ℝ}^n$

$H(x)=\sum _{i=1}^n\sum _{j=1}^n{a}_{ij}{x}_i{x}_j$

или

$H(z)=\sum _{i=1}^n\sum _{j=1}^n{a}_{ij}{z}_i{\bar{z}}_j$

где $a_{ij}={\partial }^{2}f/\partial x_i\partial x_j$ (или $a_{ij}={\partial }^{2}f/\partial z_i\partial {\bar{z}}_j$) и функция $f$ задана на $n$-мерном вещественном пространстве ${ℝ}^n$ (или комплексном пространстве ${ℂ}^n$) с координатами $x_1,\dots ,x_n$ (или $z_1,\dots ,z_n$). В обоих случаях гессиан — квадратичная форма, заданная на касательном пространстве, не меняющаяся при линейных преобразованиях переменных. Гессианом также часто называют и определитель матрицы $(a_{ij}),$ см. ниже.

Матрица Гессе

Матрица этой квадратичной формы образована вторыми частными производными функции. Если все производные существуют, то

$H(f)=\left[\begin{array}{cccc}\frac{{\partial }^{2}f}{\partial x_1^2}& \frac{{\partial }^{2}f}{\partial x_1\partial x_2}& \cdots & \frac{{\partial }^{2}f}{\partial x_1\partial x_n}\\ \\ \frac{{\partial }^{2}f}{\partial x_2\partial x_1}& \frac{{\partial }^{2}f}{\partial x_2^2}& \cdots & \frac{{\partial }^{2}f}{\partial x_2\partial x_n}\\ \\ ⋮& ⋮& \ddots & ⋮\\ \\ \frac{{\partial }^{2}f}{\partial x_n\partial x_1}& \frac{{\partial }^{2}f}{\partial x_n\partial x_2}& \cdots & \frac{{\partial }^{2}f}{\partial x_n^2}\end{array}\right]$

Определитель этой матрицы называется определителем Гессе, или просто гессианомШаблон:Нет АИ.

Матрицы Гессе используются в задачах оптимизации методом Ньютона. Полное вычисление матрицы Гессе может быть затруднительно, поэтому были разработаны квазиньютоновские алгоритмы, основанные на приближённых выражениях для матрицы Гессе. Наиболее известный из них — алгоритм Бройдена — Флетчера — Гольдфарба — Шанно.

Симметрия матрицы Гессе

Смешанные производные функции f — это элементы матрицы Гессе, стоящие не на главной диагонали. Если они непрерывны, то порядок дифференцирования не важен:

$\frac{\partial }{\partial x_i}\left(\frac{\partial f}{\partial x_j}\right)=\frac{\partial }{\partial x_j}\left(\frac{\partial f}{\partial x_i}\right)$

Это можно также записать как

$f_{x_i{x}_j}=f_{x_j{x}_i},\mathrm{\forall }i,j\in \{1,\dots ,n\}.$

В этом случае матрица Гессе симметрична.

Критические точки функции

Если градиент $f$ (её векторная производная) равен нулю в некоторой точке $x_0$, то эта точка называется критической. Достаточным условием существования экстремума в этой точке является знакоопределённость гессиана f (понимаемого в данном случае как квадратичная форма), а именно:

• если гессиан положительно определён, то $x_0$ — точка локального минимума функции $f(x)$,
• если гессиан отрицательно определён, то $x_0$ — точка локального максимума функции $f(x)$,
• если гессиан не является знакоопределённым (принимает как положительные, так и отрицательные значения) и невырожден $(\det H(f)\ne 0)$, то $x_0$ — седловая точка функции $f(x)$.

Вариации и обобщения

Вектор-функции

Если $f$ — вектор-функция, то есть

$f=(f_1,f_2,\dots ,f_n),$

то её вторые частные производные образуют не матрицу, а тензор ранга 3, который можно рассматривать как массив из $n$ матриц Гессе:

$H(f)=(H(f_1),\dots ,H(f_n)).$

При $n=1$ данный тензор вырождается в обычную матрицу Гессе.

Окаймлённый гессиан

При решении задачи нахождения условного экстремума функции $f:{ℝ}^n\to ℝ$ с ограничениями

$\{\begin{array}{c}{g}_1(x)=0,\\ ⋮\\ g_m(x)=0,\end{array}$

где $x\in {ℝ}^n$, $m<n$, для проверки достаточных условий экстремума можно использовать так называемый окаймлённый гессиан функции Лагранжа $L(x,\lambda )$, который будет иметь вид

$\left(\begin{array}{cc}\frac{{\partial }^{2}L}{\partial x^2}& \frac{{\partial }^{2}L}{\partial x\partial \lambda }\\ {\left(\frac{{\partial }^{2}L}{\partial x\partial \lambda }\right)}^{\mathrm{T}}& \frac{{\partial }^{2}L}{\partial {\lambda }^2}\end{array}\right)=\left(\begin{array}{cccccc}\frac{{\partial }^{2}L}{\partial x_1^2}& \dots & \frac{{\partial }^{2}L}{\partial x_1\partial x_n}& \frac{\partial g_1}{\partial x_1}& \dots & \frac{\partial g_m}{\partial x_1}\\ ⋮& \ddots & ⋮& ⋮& \ddots & ⋮\\ \frac{{\partial }^{2}L}{\partial x_n\partial x_1}& \dots & \frac{{\partial }^{2}L}{\partial x_n^2}& \frac{\partial g_1}{\partial x_n}& \dots & \frac{\partial g_m}{\partial x_n}\\ \frac{\partial g_1}{\partial x_1}& \dots & \frac{\partial g_1}{\partial x_n}& 0& \dots & 0\\ ⋮& \ddots & ⋮& ⋮& \ddots & ⋮\\ \frac{\partial g_m}{\partial x_1}& \dots & \frac{\partial g_m}{\partial x_n}& 0& \dots & 0\end{array}\right).$

Проверка достаточных условий экстремума заключается в вычислении знаков детерминантов определённого набора подматриц окаймлённого гессиана. Именно, если существуют $x^{*}\in {ℝ}^n$ и ${\lambda }^{*}\in {ℝ}^m$ такие, что $\mathrm{\nabla }L(x^{*},{\lambda }^{*})=0$ и

$(-1{)}^m\text{det}\left(\begin{array}{cccccc}\frac{{\partial }^{2}L}{\partial x_1^2}& \dots & \frac{{\partial }^{2}L}{\partial x_1\partial x_p}& \frac{\partial g_1}{\partial x_1}& \dots & \frac{\partial g_m}{\partial x_1}\\ ⋮& \ddots & ⋮& ⋮& \ddots & ⋮\\ \frac{{\partial }^{2}L}{\partial x_p\partial x_1}& \dots & \frac{{\partial }^{2}L}{\partial x_p^2}& \frac{\partial g_1}{\partial x_p}& \dots & \frac{\partial g_m}{\partial x_p}\\ \frac{\partial g_1}{\partial x_1}& \dots & \frac{\partial g_1}{\partial x_p}& 0& \dots & 0\\ ⋮& \ddots & ⋮& ⋮& \ddots & ⋮\\ \frac{\partial g_m}{\partial x_1}& \dots & \frac{\partial g_m}{\partial x_p}& 0& \dots & 0\end{array}\right)>0$

для $p=m+1,\dots ,n$, то в точке $x^{*}$ функция $f$ имеет строгий условный минимум. Если же

$(-1{)}^p\text{det}\left(\begin{array}{cccccc}\frac{{\partial }^{2}L}{\partial x_1^2}& \dots & \frac{{\partial }^{2}L}{\partial x_1\partial x_p}& \frac{\partial g_1}{\partial x_1}& \dots & \frac{\partial g_m}{\partial x_1}\\ ⋮& \ddots & ⋮& ⋮& \ddots & ⋮\\ \frac{{\partial }^{2}L}{\partial x_p\partial x_1}& \dots & \frac{{\partial }^{2}L}{\partial x_p^2}& \frac{\partial g_1}{\partial x_p}& \dots & \frac{\partial g_m}{\partial x_p}\\ \frac{\partial g_1}{\partial x_1}& \dots & \frac{\partial g_1}{\partial x_p}& 0& \dots & 0\\ ⋮& \ddots & ⋮& ⋮& \ddots & ⋮\\ \frac{\partial g_m}{\partial x_1}& \dots & \frac{\partial g_m}{\partial x_p}& 0& \dots & 0\end{array}\right)>0$

для $p=m+1,\dots ,n$, то в точке $x^{*}$ функция $f$ имеет строгий условный максимум.

История

Понятие введено Людвигом Отто Гессе (1844), который использовал другое название. Термин «гессиан» был введён Джеймсом Джозефом Сильвестром.

См. также

• Якобиан
• Критическая точка (математика)
• Лемма Морса
• Критерий Сильвестра — критерий положительной или отрицательной определённости квадратной матрицы

Ссылки

• Камынин Л.И. Математический анализ. Т. 1, 2. - 2001.
• Кудрявцев Л.Д «Краткий курс математического анализа. Т.2. Дифференциальное и интегральное исчисления функций многих переменных. Гармонический анализ», ФИЗМАТЛИТ, 2002, — 424 с. — ISBN 5-9221-0185-4. Или любое другое издание.
• Голубицкий М., Гийемин В. Устойчивые отображения и их особенности, — М.: Мир, 1977.