Метод нечёткой кластеризации C-средних

Метод нечёткой кластеризации C-средних (Шаблон:Lang-en) позволяет разбить имеющееся множество элементов мощностью $N$ на заданное число нечётких множеств $k$. Метод нечеткой кластеризации C-средних можно рассматривать как усовершенствованный метод k-средних, при котором для каждого элемента из рассматриваемого множества рассчитывается степень его принадлежности (Шаблон:Lang-en) каждому из кластеров.

Алгоритм был разработан J.C. Dunn в 1973 и улучшен J.C. Bezdek в 1981.

Алгоритм:

1. Задать случайным образом $k$ центров кластеров $c_j,j=1..k$;
2. Рассчитать матрицу принадлежности элементов к кластерам $r$. В случае нормального распределения: $r_{ij}=\frac{𝒩(d(x_i,c_j)|\mu =0,\sigma )}{\sum _j^k𝒩(d(x_i,c_j)|\mu =0,\sigma )}$, где $x_i$— $i$-й элемент множества, $c_j$— центр кластера $j$, $d(x_i,c_j)$ — расстояние между точками $x_i$ и $c_j$, $𝒩$— плотность вероятности нормального распределения в точке $d(x_i,c_j)$.
3. Переместить центры кластеров $c_j\leftarrow \frac{\sum _i{r}_{ij}{x}_i}{\sum _i{r}_{ij}}$;
4. Рассчитать функцию потерь (например, исходя из принципа максимального правдоподобия). В случае нормального распределения функция потерь будет равна: $J=\sum _j^k\sum _i^{N}d(x_i,c_j{)}^2{r}_{ij}$;
5. Если значение функции потерь уменьшается, то повторить цикл с п.2.

Метод нечеткой кластеризации C-средних имеет ограниченное применение из-за существенного недостатка — невозможность корректного разбиения на кластеры, в случае когда кластеры имеют различную дисперсию по различным размерностям (осям) элементов (например, кластер имеет форму эллипса). Данный недостаток устранен в алгоритмах Mixture models и GMM (Gaussian mixture models).