Многопеременная логистическая функция

Многопеременная логистическая функция (в программировании также используется Шаблон:Lang-en) — это обобщение логистической функции для многомерного случая. Функция преобразует вектор $z$ размерности $K$ в вектор $\sigma$ той же размерности, где каждая координата ${\sigma }_i$ полученного вектора представлена вещественным числом в интервале [0,1] и сумма координат равна 1.

Координаты ${\sigma }_i$ вычисляются следующим образом:

$\sigma (z{)}_i=\frac{e^{z_i}}{\sum _{k=1}^K{e}^{z_k}}$

Применение в машинном обучении

Многопеременная логистическая функция применяется в машинном обучении для задач классификации, когда количество возможных классов больше двух (для двух классов используется логистическая функция). Координаты ${\sigma }_i$ полученного вектора при этом трактуются как вероятности того, что объект принадлежит к классу $i$. Вектор-столбец $z$ при этом рассчитывается следующим образом:

$z=w^{T}x-\theta$

где $x$ — вектор-столбец признаков объекта размерности $M\times 1$; $w^T$ — транспонированная матрица весовых коэффициентов признаков, имеющая размерность $K\times M$; $\theta$ — вектор-столбец с пороговыми значениями размерности $K\times 1$ (см. перцептрон), где $K$— количество классов объектов, а $M$ — количество признаков объектов.

Часто Softmax используется для последнего слоя глубоких нейронных сетей для задач классификации. Для обучения нейронной сети при этом в качестве функции потерь используется перекрёстная энтропия.